2026-06-23 | CS.LG机器学习 | 共 280 篇
[机构]信息由AI分析生成,可能存在错误,仅供参考,以论文实际显示为准
快速导航
1. 深度学习架构与训练方法 37 篇
2. 表示学习、自监督与对比学习 9 篇
3. 强化学习与序列决策 35 篇
4. 生成模型与概率建模 17 篇
5. 优化、泛化与理论分析 29 篇
6. 高效学习、压缩与部署 22 篇
7. 联邦学习、隐私与安全 13 篇
8. 鲁棒性、不确定性与可信学习 14 篇
9. 图学习与结构化数据 20 篇
10. 迁移、元学习与持续学习 7 篇
11. 数据集、基准与评测 22 篇
12. 机器学习应用 50 篇
13. 其他/综合机器学习 5 篇
1. 深度学习架构与训练方法 | 37 篇
1. Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test
大规模激活在架构上是鲁棒的:一种受控的暂存/提交残差流测试
AI 总结:通过引入Ledger Residuals架构分离残差流的读写角色,发现大规模激活并非伪影,而是功能性的,在受保护通道中重新出现。
链接:https://arxiv.org/abs/2606.20743
2. Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study
NNGPT自动机器学习流水线中的鲁棒训练:损失函数与优化器配对选择研究
AI 总结:本文系统研究了六种优化器与三种损失函数的18种组合在异构架构上的表现,发现交叉熵与Adam/AdamW组合最鲁棒,NGL损失仅在自适应优化器下有效,为NNGPT框架提供了损失-优化器选择指导。
链接:https://arxiv.org/abs/2606.20933
3. Learning through Internalization
通过内化学习
AI 总结:研究神经网络系统通过将显式计算过程吸收到自身权重中的内化机制,分析变换器如何内化半自动机模拟及链式思维令牌,首次证明简化单层变换器在奇偶性学习任务中成功内化的过程。
链接:https://arxiv.org/abs/2606.20937
4. Grouped Query Experts: Mixture-of-Experts on GQA Self-Attention
分组查询专家:GQA自注意力上的混合专家
AI 总结:提出GQE,在分组查询注意力上应用混合专家层,每token仅激活一半查询头,在250M参数规模下匹配全激活基线性能。
链接:https://arxiv.org/abs/2606.20945
5. An Efficient and Effective Architecture for Large-Scale Traffic Prediction via Geometry-Adaptive Square Partitioning
一种通过几何自适应方形分区实现大规模交通预测的高效架构
AI 总结:提出SqLinear架构,通过几何自适应方形分区将传感器划分为平衡近方形区域,并设计层次线性交互模块替代注意力机制,以线性复杂度实现高效时空建模,在四个大规模数据集上平均MAE降低2.30%,训练时间减少13.27%-30.84%。
链接:https://arxiv.org/abs/2606.21072
6. TF-SNO: Time-Frequency Gated Spectral Neural Operators for Learning Non-Stationary Partial Differential Equations
TF-SNO:用于学习非平稳偏微分方程的时频门控谱神经算子
AI 总结:针对非平稳PDE中频谱随时间漂移的问题,提出TF-SNO,通过可学习的时频门控机制使谱响应随状态演化,在不引入显式时间维度下隐式学习时间变化,提升长期预测稳定性。
链接:https://arxiv.org/abs/2606.21189
7. Sakana Fugu Technical Report
Sakana Fugu 技术报告
AI 总结:提出Fugu系列协调模型,通过动态代理框架组合多个LLM专长,在多项基准上达到最优性能,并描述其训练范式。
链接:https://arxiv.org/abs/2606.21228
8. Does RoPE Prevent or Degrade Retrieval Heads? A Mechanistic Analysis Across Model Families
RoPE 是阻止还是削弱检索头?跨模型族的机制分析
AI 总结:通过因果掩码和维度修补实验,发现旋转位置嵌入(RoPE)的低频维度对检索头功能至关重要,但高频维度无影响,且检索头数量与RoPE基超参数θ无关。
链接:https://arxiv.org/abs/2606.21249
9. Reconstructing Randomly Masked Spectra Helps DNNs Identify Discriminant Wavenumbers
重构随机掩蔽光谱有助于深度神经网络识别判别波数
AI 总结:提出任务增强网络TeaNet,通过重构随机掩蔽光谱生成增广样本,同时训练分类模型,在合成和真实数据集上优于CNN,并能更好识别判别波数。
链接:https://arxiv.org/abs/2606.21289
10. Topological Neural Dynamics: A Neuron-wise Framework for Sequence Modeling
拓扑神经动力学:一种用于序列建模的神经元级框架
AI 总结:提出拓扑神经动力学(TND),将序列建模从层级动力学转向神经元级动力学,通过有向神经元图实现局部演化与全局交互,在单玩家Pong行为克隆任务中捕获率最优,平均连续捕获次数是强基线的三倍以上。
链接:https://arxiv.org/abs/2606.21295
11. Dual-Attention Convolution Experts for Sparse Tensor Completion
双注意力卷积专家网络用于稀疏张量补全
AI 总结:提出DCGC模型,通过多通道卷积网络生成多样非线性对齐模式,结合门控双注意力机制聚焦重要特征,并引入组级对比学习缓解数据稀疏性,在交通和推荐任务上超越现有方法。
链接:https://arxiv.org/abs/2606.21427
12. Breaking chains with trees: Deep learning with $\mathcal{O}(\log N)$ parallel time complexity
用树打破链:具有 $\mathcal{O}(\log N)$ 并行时间复杂度的深度学习
AI 总结:提出分层块局部学习(HBLL)框架,通过变分局部目标分解网络,实现 $\mathcal{O}(\log N)$ 并行训练复杂度,在视觉和语言任务上取得竞争性能。
链接:https://arxiv.org/abs/2606.21497
13. LIG: Layer-wise Integrated Gradients for Within-Layer Flow Analysis in Transformers
LIG:用于Transformer层内流分析的逐层积分梯度
AI 总结:提出LIG方法,在Transformer模块边界应用集合到集合的积分梯度,通过L2标量化扩展IG,实现层内贡献分解与信息流分析,揭示注意力与MLP模块的独立贡献。
链接:https://arxiv.org/abs/2606.21564
14. A new classification method based on Minimum Spanning Trees
基于最小生成树的新分类方法
AI 总结:提出一种基于最小生成树的监督分类算法,并通过鲁棒版本提高计算效率,在模拟和真实飞机轨迹数据上验证有效性。
链接:https://arxiv.org/abs/2606.21639
15. New Smooth Loss functions for Robust Regression that Closely Approximate Absolute Error and Provide Improved Performance on Datasets With Significant Outliers
用于鲁棒回归的新型平滑损失函数:紧密逼近绝对误差并在具有显著异常值的数据集上提供改进性能
AI 总结:针对训练数据中大量异常值导致均方误差损失性能下降的问题,提出两种无限可微的损失函数(平方根损失和平滑平均绝对误差损失),更接近平均绝对误差损失,在回归任务中表现更优。
链接:https://arxiv.org/abs/2606.22068
16. Frequency-Domain Neural ODEs for Modeling Non-Linear Dynamical Systems
频域神经常微分方程用于建模非线性动力系统
AI 总结:提出频域神经常微分方程(FNODE),通过快速傅里叶变换将连续时间动力学投影到频域,以更好地泛化非线性动力系统,实验证明其优于离散模型和其他连续深度模型。
链接:https://arxiv.org/abs/2606.22075
17. Parameterized Representations via Implicit Stochastic Modulation for High-Dimensional and High-Order Neural PDE Solvers
通过隐式随机调制的高维高阶神经PDE求解器的参数化表示
AI 总结:提出PRISM框架,通过超生成器将物理参数映射为仿射调制器,实现参数化高维高阶随机神经PDE求解器,保持无偏性并降低内存消耗,支持零样本泛化。
链接:https://arxiv.org/abs/2606.22150
18. Gated MLPs as Symmetry-Broken Rank-1 Bilinear Attention
门控MLP作为对称破缺的秩1双线性注意力
AI 总结:将门控MLP视为秩1双线性注意力的近似,通过非线性打破对称性,解释其有效性并指导架构设计。
链接:https://arxiv.org/abs/2606.22172
19. SamatNext v0.2-B: An Exploratory Study of RMS-Normalized Hybrid Decoders for Curriculum Retention in Small Code Models
SamatNext v0.2-B: 针对小型代码模型中课程保留的RMS归一化混合解码器的探索性研究
AI 总结:提出SamatNext v0.2-B混合解码器,在课程微调中通过RMS归一化和输出缩放校准交替使用差分注意力层与简化线性状态混合器,在Python代码课程上相比Transformer基线显著提升保留率,但长期早期阶段保留仍较弱。
链接:https://arxiv.org/abs/2606.22248
20. All Routes Lead to Collapse
所有路径都通向崩溃
AI 总结:本文证明注意力下沉、表示崩溃和范数分层并非Transformer特有,而是基于内容的路由在固定相似度度量下的普遍现象,并提出几何视角诊断路由机制与表示的不匹配。
链接:https://arxiv.org/abs/2606.22325
21. Multigrid Training for Molecular Generation using Graph Neural Networks
使用图神经网络的多网格训练进行分子生成
AI 总结:提出多网格训练策略,通过跨离散化参数传递加速高分辨率分子建模,在图和3D网格表示上分别采用随机游走上采样和形状兼容参数初始化,实验证明收敛更快且泛化更好。
链接:https://arxiv.org/abs/2606.22377
22. QeHDC: Hyperdimensional Computing based on Quantum-enhanced binding and SuperClass Construction
QeHDC:基于量子增强绑定和超类构建的超维计算
AI 总结:提出一种量子超维计算框架,利用正弦和量子编码、参考态量子绑定及密度矩阵超类生成策略,实现高效分类,在标准数据集上优于传统方法。
链接:https://arxiv.org/abs/2606.22421
23. Mitigating Measurement-Induced Training Instability in Hybrid Quantum Neural Networks for Protein Classification
缓解混合量子神经网络在蛋白质分类中测量引起的训练不稳定性
AI 总结:针对混合量子神经网络中测量引起的对数收缩导致训练不稳定的问题,提出可学习的量子测量温度(QMT)参数,在训练前重缩放测量输出以增强梯度,实验证明其能稳定训练并提升分类精度。
链接:https://arxiv.org/abs/2606.22551
24. Training-free Task Classification for Multi-Task Model Merging
无需训练的多任务模型合并中的任务分类
AI 总结:提出SiM方法,通过SVD低秩流形近似和投影残差实现无需训练和任务ID的任务路由,提升多任务模型合并性能。
链接:https://arxiv.org/abs/2606.22589
25. Error Highways: Scaling Predictive Coding to Very Deep Networks
错误高速公路:将预测编码扩展到非常深的网络
AI 总结:针对预测编码网络在深层结构中学习信号衰减的问题,提出高速公路错误传播(HEP)方法,通过反馈矩阵直接耦合隐藏状态与输出误差,实现深度无关的误差传播,有效训练多达128层的MLP。
链接:https://arxiv.org/abs/2606.22744
26. GRAIN: Group Aggregation via Min-Norm Objective
GRAIN: 通过最小范数目标进行组聚合
AI 总结:提出GRAIN算法,用组梯度的最小范数凸组合替代均值聚合,解决梯度冲突,保证收敛并降低方差,在大型预训练模型上提升性能。
链接:https://arxiv.org/abs/2606.22917
27. Neural Architecture Search of Sample Reweighting Networks for Complex Distribution Shift
面向复杂分布偏移的样本重加权网络神经架构搜索
AI 总结:针对标签噪声和类别不平衡共存的复杂分布偏移,引入神经架构搜索优化Meta-Weight-Net的隐藏层结构及分类模型中间层选择,提升样本重加权性能。
链接:https://arxiv.org/abs/2606.22991
28. Prime Fourier Embeddings: A Principled Basis for Modular Arithmetic
素数傅里叶嵌入:模算术的一个有原则的基础
AI 总结:提出素数傅里叶嵌入(PFE),通过素数索引的(cos, sin)对编码整数,使模运算简化为选择相关素数通道,并证明线性等变映射的块对角结构,实验验证了通道专业化比率超过500倍。
链接:https://arxiv.org/abs/2606.23044
29. ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation
ReNIO: 为大语言模型在线策略蒸馏重加权负轨迹重要性
AI 总结:提出ReNIO方法,通过学生-教师概率比识别错误推理轨迹中的关键令牌并加权,在不依赖最终答案正确性的情况下提升在线策略蒸馏效果,在数学推理和代码生成任务上取得显著提升。
链接:https://arxiv.org/abs/2606.23104
30. Self-Evolution for Multi-Turn Tool-Calling Agents via Divergence-Point Preference Learning
面向多轮工具调用智能体的自演化:基于分歧点偏好学习
AI 总结:提出ToolGraph方法,结合模式图拓扑、过渡权重和历史感知控制,并通过分歧点偏好学习(DPO)提升多轮工具调用智能体的性能,在375个任务上平均奖励提升16.8%。
链接:https://arxiv.org/abs/2606.23112
31. The Fractal Neural Operator: Overcoming Spectral Bias in Chaotic Attractors via Prime-Harmonic Weierstrass Encodings
分形神经算子:通过素数-谐波魏尔斯特拉斯编码克服混沌吸引子中的谱偏差
AI 总结:针对深度学习模型在混沌动力系统中因谱偏差导致高频信息丢失的问题,提出分形神经算子(FNO),利用非共振素数基近似连续动力系统,通过谐波魏尔斯特拉斯编码注入无限谱分辨率,在Lorenz-63系统中将预测时域延长至347个李雅普诺夫时间,超过现有方法2.3倍。
链接:https://arxiv.org/abs/2606.23123
32. EML Trees Are Universal Approximators
EML 树是通用逼近器
AI 总结:本文证明 EML 函数构成的树结构具有对 $W^{k, \infty}$ 函数的通用逼近性质,并提出了带拟合参数的学习算法。
链接:https://arxiv.org/abs/2606.23179
33. SOAP-Bubbles: Structured Weight Uncertainty for Neural Networks
SOAP-Bubbles:神经网络的结构化权重不确定性
AI 总结:通过将IVON方法适配到SOAP优化器的特征空间,提出EVON优化器以低代价获得非对角协方差后验,在语言模型预训练中优于现有对角协方差方法。
链接:https://arxiv.org/abs/2606.23357
34. Adaptive Hard-Soft Physics-Informed Neural Networks for Robust Boundary-Constrained PDE Solving
自适应硬-软物理信息神经网络用于鲁棒边界约束PDE求解
AI 总结:提出统一硬-软物理信息神经网络(HSPINN),通过精确强制边界条件和自适应损失加权,解决传统PINN收敛慢、边界不准确等问题。
链接:https://arxiv.org/abs/2606.23359
35. It's Much Easier for Neural Networks to learn Game of Life Dynamics with the Right Activation Function: Polynomial Kolmogorov-Arnold Networks
使用正确的激活函数:多项式 Kolmogorov-Arnold 网络,神经网络学习生命游戏动态要容易得多
AI 总结:本文发现使用多项式激活函数(特别是二次多项式)的神经网络能更可靠地学习康威生命游戏动态,挑战了默认使用ReLU和扩大网络规模的做法。
链接:https://arxiv.org/abs/2606.23587
36. Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers
缩放线性模式连通性与合并至十亿参数预训练Transformer
AI 总结:提出一种可扩展框架,通过参数化权重变换和双向优化实现十亿参数预训练Transformer的线性模式连通性与合并,显著降低插值障碍。
链接:https://arxiv.org/abs/2606.23607
37. Tapered Language Models
锥形语言模型
AI 总结:针对现有语言模型各层参数均匀分配的问题,提出锥形语言模型(TLM),在固定预算下单调递减层容量,实验表明MLP宽度按余弦调度锥形化可提升困惑度和下游性能。
链接:https://arxiv.org/abs/2606.23670
2. 表示学习、自监督与对比学习 | 9 篇
38. SOHET: Sequence Of Heterogeneous Events Transformer with Self-Supervised Pre-Training
SOHET: 基于自监督预训练的异构事件序列Transformer
AI 总结:提出SOHET模型,通过层次化架构结合事件类型特定表格编码器与时间/类型嵌入,并引入三种自监督预训练目标,在欺诈检测和EBES基准上取得最优性能。
链接:https://arxiv.org/abs/2606.21356
39. Unsupervised Disentanglement Without Compromises : How Functional Orthogonality Enforces Identifiability
无监督解缠无需妥协:函数正交性如何强制可识别性
AI 总结:从函数视角出发,通过生成映射雅可比的正交性约束实现无监督解缠,证明该条件在无需统计独立或因果假设下保证非线性生成模型的可识别性,实验验证了理论有效性。
链接:https://arxiv.org/abs/2606.21385
40. Learning by Shifting: Temporal View Construction for Time Series Contrastive Learning
通过移位学习:时间序列对比学习的时间视图构建
AI 总结:提出Shift Invariant Feature Training (ShiFT)方法,通过确定性视图构建编码时间移位不变性,在六个真实世界时间序列基准和UCR/UEA数据集上达到最优性能,并减少训练时间。
链接:https://arxiv.org/abs/2606.21957
41. SPOTR: Spatio-temporal Pooling One-Token Reconstruction for Universal Physiological Signal Self-supervised Learning
SPOTR: 面向通用生理信号自监督学习的时空池化单令牌重建
AI 总结:提出SPOTR框架,通过单令牌全局瓶颈压缩-重建预训练,解决生理信号自监督学习在异构数据集上的性能瓶颈,在线性探测下显著提升AUC并降低计算开销。
链接:https://arxiv.org/abs/2606.21973
42. Learning a Normal World Model for Few-Shot Boundary-Calibrated Abnormality Detection
学习正常世界模型用于少样本边界校准的异常检测
AI 总结:提出超图熵正常世界模型,通过正常事件学习正常世界并用少量异常样本校准边界,在NASA C-MAPSS数据集上实现强零样本和少样本异常检测性能。
链接:https://arxiv.org/abs/2606.22261
43. Enhancing Protein Representation Learning via Manifold Restore Mixing
通过流形恢复混合增强蛋白质表示学习
AI 总结:针对数据增强破坏蛋白质结构的问题,提出流形恢复混合方法,通过混合原始与增强数据的隐表示恢复结构信息,并引入难度调度器逐步增加训练难度,提升表示学习性能。
链接:https://arxiv.org/abs/2606.22307
44. Do Sparse Autoencoders Learn Meaningful Concept Hierarchies?
稀疏自编码器能否学习有意义的概念层次结构?
AI 总结:本文提出评估概念层次结构质量的关键要求与具体协议,发现当前稀疏自编码器虽能提供合理基础,但特征吸收(硬/软形式)系统性地损害层次质量。
链接:https://arxiv.org/abs/2606.22994
45. What Does a Chemical Language Model Know About Molecules?
化学语言模型对分子了解多少?
AI 总结:通过稀疏自编码器分析MolFormer模型,发现早期层追踪位置以解析分子语法,后期层编码子结构及药理特征,非规范SMILES比无效SMILES引起更大表示偏移。
链接:https://arxiv.org/abs/2606.23443
46. Patient-Aware Contrastive Learning Preserves Per-Patient Structure in RR-Interval Representations
患者感知对比学习保留RR间期表示中的患者特定结构
AI 总结:提出患者感知对比学习目标,通过同患者同类样本形成正对,保留个体基线变异,在阵发性房颤检测中实现跨患者鲁棒泛化,AUROC达0.989±0.003。
链接:https://arxiv.org/abs/2606.23570
3. 强化学习与序列决策 | 35 篇
47. Evolutionary Discovery of Developmental Reward Schedules in Deep Reinforcement Learning
深度强化学习中发展性奖励调度的进化发现
AI 总结:提出进化框架自动发现深度强化学习中的发展性奖励调度,通过时变权重组合代理、新奇和反应性三种动机,在稀疏奖励任务上优于手工设计基线,并发现新奇动机主导早期训练。
链接:https://arxiv.org/abs/2606.20858
48. Sim2O: Efficient Offline-to-Online MARL via Joint Action Composition
Sim2O: 通过联合动作组合实现高效的离线到在线多智能体强化学习
AI 总结:提出Sim2O框架,通过动态混合离线与在线动作提案并利用集中式价值函数评估组合,实现高效的多智能体离线到在线适应,无需辅助训练目标。
链接:https://arxiv.org/abs/2606.21085
49. Horizon Adaptive Offline Policy Learning via Value Stitching
通过价值拼接的自适应地平线离线策略学习
AI 总结:提出VAST方法,通过递归、自适应地平线价值组合替代固定地平线备份,利用未来状态和地平线长度条件辅助价值函数与拼接策略,实现离线策略优化,在长时域任务中优于固定步长和生成价值基线。
链接:https://arxiv.org/abs/2606.21136
50. Inverting the Bellman Equation: From $Q$-Values to World Models
逆推贝尔曼方程:从 $Q$ 值到世界模型
AI 总结:本文证明基于值的智能体在丰富奖励函数上训练时隐式编码世界模型,提出 $P$-learning 从 $Q$ 值提取模型,并给出编码真实转移核的充分条件,实验验证了隐式模型的准确性和泛化能力。
链接:https://arxiv.org/abs/2606.21173
51. Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization
通过占据覆盖最大化进行强化学习的无奖励预训练
AI 总结:提出一种无奖励预训练方法ROVER,通过最大化状态占据测度的覆盖来学习可迁移探索策略,在稀疏奖励下游任务中快速适应。
链接:https://arxiv.org/abs/2606.21271
52. OnDeFog: Online Decision Transformer under Frame Dropping
OnDeFog:帧丢失下的在线决策变压器
AI 总结:针对帧丢失导致性能下降的问题,提出OnDeFog,将DeFog机制与在线决策变压器结合,通过直接环境交互学习策略,在高丢帧率环境下优于ODT,在低奖励数据集上优于DeFog。
链接:https://arxiv.org/abs/2606.19721
53. NASDAQ: Normalized Observation Space Dynamics-Augmented Q-Learning
NASDAQ:归一化观测空间动力学增强Q学习
AI 总结:针对观测预测强化学习中低维观测维度不平衡导致性能下降的问题,提出归一化方法平衡损失和梯度,并构建NASDAQ框架,结合价值学习与两个辅助任务,在多个领域取得领先性能且训练时间更短。
链接:https://arxiv.org/abs/2606.21297
54. Objective-Behavior Alignment: Diagnostics for MORL Policy Selection
目标-行为对齐:多目标强化学习策略选择的诊断方法
AI 总结:提出一种诊断工作流,自动揭示帕累托前沿上仅靠目标值无法体现的行为差异,通过定量和可视化工具辅助策略选择,在简单网格和连续控制基准上验证有效性。
链接:https://arxiv.org/abs/2606.21321
55. A Reward-Petri-Net Interpretation of Temporal Behavior Trees
时间行为树的奖励-佩特里网解释
AI 总结:提出将时间行为树(TBT)转换为奖励-佩特里网(RPN)的方法,自动生成奖励函数,解决复杂长时域机器人任务中强化学习奖励设计难题,提高样本效率和学习可控性。
链接:https://arxiv.org/abs/2606.21350
56. Backpropagating Through Simulation: Analytic Policy Gradients for Sample and Learning Efficient Differentiable Continuous Control
通过仿真反向传播:用于样本高效和学习高效的可微连续控制的解析策略梯度
AI 总结:提出解析策略梯度(APG)方法,利用可微环境动力学通过仿真反向传播计算精确梯度,在四个连续控制任务中与PPO对比,显著提升样本效率。
链接:https://arxiv.org/abs/2606.21525
57. FAST: A Framework for Aligned Sampling and Training in Parallel Reinforcement Learning for Autonomous Driving
FAST:面向自动驾驶并行强化学习中的对齐采样与训练框架
AI 总结:提出FAST框架,通过动态并行采样对齐和缩放掩码填充优化,解决并行强化学习中的掉队者效应和采样效率瓶颈,实现至少1.78倍加速且保持统计无偏性。
链接:https://arxiv.org/abs/2606.21587
58. Learning to Place Guards by Reinforcement: A Geo-Free Neural Policy for the Vertex-Guard Art Gallery Problem
通过强化学习学习放置守卫:顶点守卫艺术画廊问题的无几何神经策略
AI 总结:针对顶点守卫艺术画廊问题,训练强化学习策略在无几何推理下放置守卫,发现编码器已内化几何知识,失败源于解码器校准而非知识缺失。
链接:https://arxiv.org/abs/2606.21604
59. The Two-Hump Problem: Bridging the Difficulty Gap in Mathematical Reinforcement Learning
双峰问题:弥合数学强化学习中的难度差距
AI 总结:针对数学搜索问题中奖励稀疏和难度分布不均的挑战,提出数据生成和算法增强方法,包括超移动和Transformer架构,显著提升性能并发布大规模基准数据集。
链接:https://arxiv.org/abs/2606.21611
60. Beyond the Next Step: Variable-Length Latent World Models for Long-Horizon Planning
超越下一步:用于长时程规划的变长潜世界模型
AI 总结:提出变长潜世界模型(VLWM),通过学习变长动作序列的条件潜状态预测,解决递归一步预测在长时程规划中的累积误差问题,结合课程训练策略,在长时程控制任务上平均提升13%。
链接:https://arxiv.org/abs/2606.21775
61. Discretizing Reward Models
离散化奖励模型
AI 总结:针对奖励模型过度敏感导致策略不佳的问题,提出一种基于蒙特卡洛dropout的无训练离散化算法,在保持判别能力的同时降低过度敏感性,减少奖励黑客行为并提升策略效果。
链接:https://arxiv.org/abs/2606.21795
62. Selective Ensemble Based on Preference-Directed Multi-Objective Bandits
基于偏好导向的多目标赌博机的选择性集成
AI 总结:针对有限评估预算下部分偏好指定的选择性集成问题,形式化为偏好导向多目标赌博机,提出PrefUCB算法,实现对数遗憾界,在预训练模型集成和资产分配中验证有效性。
链接:https://arxiv.org/abs/2606.21929
63. Modularized Reinforcement Learning on LLMs: From MDP Creation to Exploration and Learning
LLM上的模块化强化学习:从MDP创建到探索与学习
AI 总结:本文系统梳理LLM后训练中的强化学习方法,从MDP构建、探索策略到学习范式,揭示当前方法分布不均,指出价值函数、离策略AC及自举法等领域存在研究空白。
链接:https://arxiv.org/abs/2606.21943
64. Provably Efficient Policy-Reward Co-Pretraining for Adversarial Imitation Learning
对抗模仿学习的可证明高效策略-奖励联合预训练
AI 总结:针对对抗模仿学习(AIL)需大量在线交互的问题,提出基于奖励塑形分析的理论框架,设计策略-奖励联合预训练方法CoPT-AIL,首次从理论上证明预训练能提升AIL的模仿性能。
链接:https://arxiv.org/abs/2606.22056
65. Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
基于进化的元强化学习用于多目标组合供应链优化
AI 总结:提出一种结合分解与进化搜索的群体元强化学习框架,通过维护权重向量群体并迭代优化,生成多样且分布均匀的帕累托前沿近似,在多目标供应链优化中超体积提升高达32%。
链接:https://arxiv.org/abs/2606.22146
66. Drowning in Routine: Signal Dilution in Multi-Turn Agent Training
淹没在例行公事中:多轮智能体训练中的信号稀释
AI 总结:本文提出决策密度ρ的概念,揭示多轮智能体训练中例行轮次导致信号稀释,并推导出轨迹级信噪比与ρ^{-1/2}成比例,实验验证了该缩放关系。
链接:https://arxiv.org/abs/2606.22164
67. Curriculum Reinforcement Learning Can Incentivize Reasoning Capacity in LLMs Beyond the Base Model
课程强化学习可以激励LLMs超越基础模型的推理能力
AI 总结:提出边界感知课程强化学习方法,通过定位推理能力边界、针对性教师引导和强化学习巩固,在Qwen、Llama和DeepSeek上同时提升pass@1和pass@256,平均pass@256比基础模型提升9.8个百分点。
链接:https://arxiv.org/abs/2606.22317
68. Select-to-Act: Hierarchical Reinforcement Learning via Adaptive Language Guidance
Select-to-Act: 通过自适应语言指导的分层强化学习
AI 总结:提出分层强化学习框架HRLLI,将自然语言指令分解为可动态选择的语义指导,通过高层策略选择当前最相关的指令片段指导低层决策,显著提升样本效率和任务性能。
链接:https://arxiv.org/abs/2606.22350
69. Stationary Robust Mean-Field Games under Model Mismatches
模型失配下的平稳鲁棒平均场博弈
AI 总结:针对多智能体强化学习中训练与真实环境的模型失配问题,提出基于分布鲁棒的无限时域平稳平均场博弈框架,证明均衡存在性并给出首个收敛算法,建立有限种群近似均衡的误差界。
链接:https://arxiv.org/abs/2606.22579
70. On the Position Bias of On-Policy Distillation
论同策略蒸馏中的位置偏差
AI 总结:发现同策略蒸馏中后部token监督质量下降,提出基于重要性加权的IW-OPD方法,通过动态调整token权重提升学习效率和最终性能。
链接:https://arxiv.org/abs/2606.22600
71. Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching
基于伴随匹配的可扩展最大熵强化学习扩散策略
AI 总结:提出伴随匹配方法,实现无需模拟训练的扩散策略优化,降低计算开销,使扩散策略适用于在线强化学习。
链接:https://arxiv.org/abs/2606.22630
72. Hierarchical Reinforcement Learning for Sparse-Reward Search in Commutative Algebra
用于交换代数中稀疏奖励搜索的分层强化学习
AI 总结:针对数学猜想验证中的奖励稀疏问题,提出基于约束选项的分层强化学习框架,结合等变图神经网络策略,在交换代数问题中首次应用HRL并优于经典RL和贪心搜索。
链接:https://arxiv.org/abs/2606.22922
73. Provable Benefits of RLVR over SFT for Reasoning Models: Learning to Backtrack Efficiently
RLVR 相对于 SFT 在推理模型中的可证明优势:学习高效回溯
AI 总结:本文从理论上证明,在推理任务中,基于可验证奖励的强化学习(RLVR)相比监督微调(SFT)能学习高效回溯,从而在推理时计算上实现指数级优势。
链接:https://arxiv.org/abs/2606.22938
74. Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning
组图策略优化用于长程智能体强化学习
AI 总结:提出G2PO算法,通过构建全局状态转移图并引入组聚合状态值估计和边中心优势估计,解决长程智能体强化学习中的奖励稀疏和信用分配粗粒度问题,在WebShop等基准上显著提升成功率。
链接:https://arxiv.org/abs/2606.22995
75. Counterfactual learning of new adaptive instructional policies using logged data
利用记录数据反事实学习新的自适应教学策略
AI 总结:提出离线上下文赌博机框架,基于Rasch模型映射学生-项目交互到连续潜变量,通过平衡挑战与成功的奖励函数优化“心流”,在四个真实数据集上实现策略改进。
链接:https://arxiv.org/abs/2606.23015
76. EvoRubrics: Dynamic Rubrics as Rewards via Adversarial Co-Evolution for LLM Reinforcement Learning
EvoRubrics:通过对抗性协同进化为LLM强化学习提供动态评分准则作为奖励
AI 总结:提出EvoRubrics框架,通过策略LLM与评分准则生成器的对抗性协同进化,在训练中动态调整奖励标准,解决静态评分准则导致的奖励饱和与策略欺骗问题,实验表明其优于静态和动态基线,且自监督变体也能有效提升性能。
链接:https://arxiv.org/abs/2606.23038
77. Dynamic multi-agent deep reinforcement learning-based pricing and incentivization approach in multimodal transportation networks
基于动态多智能体深度强化学习的多模式交通网络定价与激励方法
AI 总结:提出多智能体深度强化学习框架,通过动态定价和激励策略协调公共交通与共享出行服务,平衡效率、公平与收益,实验表明可降低通勤成本20%、排放10%并提升公平性。
链接:https://arxiv.org/abs/2606.23257
78. Superhuman AI for Generals.io Using Self-Play Reinforcement Learning
基于自我对弈强化学习的Generals.io超人类AI
AI 总结:通过自研JAX模拟器(单GPU每秒千万帧,提速万倍)和自对弈策略梯度训练视觉Transformer,在实时策略游戏Generals.io中达到超人类水平,1v1排行榜第一,对顶级人类玩家胜率199-70。
链接:https://arxiv.org/abs/2606.23348
79. Leveraging Similarities in Multi-Armed Bandits
利用多臂老虎机中的相似性
AI 总结:针对动作具有相似性的在线学习问题,提出利用树结构编码相似性,在多种反馈模型下实现遗憾界中动作数K被相似感知有效动作数替换的算法。
链接:https://arxiv.org/abs/2606.23414
80. MORL-A2C: Multi-Objective Reinforcement Learning Reranker for Optimizing Healthiness in MOPI-HFRS
MORL-A2C:用于优化MOPI-HFRS健康性的多目标强化学习重排序器
AI 总结:提出MORL-A2C,将食物推荐建模为K步重排序问题,利用冻结图神经网络嵌入和优势演员-评论家算法,在保持排序质量的同时显著提升健康对齐度。
链接:https://arxiv.org/abs/2606.23603
81. Learning Process Rewards via Success Visitation Matching for Efficient RL
通过成功访问匹配学习过程奖励以实现高效强化学习
AI 总结:针对稀疏奖励导致的信用分配难题,提出通过判别器区分成功/失败轨迹,生成密集过程奖励以匹配成功访问分布,在不改变最优策略下加速机器人控制策略微调。
链接:https://arxiv.org/abs/2606.23640
4. 生成模型与概率建模 | 17 篇
82. Understanding Latent Flow Models for Tabular Data Synthesis: Targets, Paths, and Sampling
理解表格数据合成的潜在流模型:目标、路径与采样
AI 总结:本文通过实证研究表格数据潜在流模型,发现学习目标决定效用-风险权衡,速度与后验匹配提高效用,分数与噪声匹配降低泄露风险;路径与采样选择影响性能,OT路径允许提前停止节省计算。
链接:https://arxiv.org/abs/2606.20878
83. $Ω$: Operator-based Mixture Ensemble for Generative Assimilation
$Ω$: 基于算子的混合集成生成同化
AI 总结:针对高维非线性系统中非高斯后验分布难以刻画的问题,提出Ω框架,融合条件高斯代理、无监督分数学习和生成采样,无需真实后验样本即可高效重构后验分布。
链接:https://arxiv.org/abs/2606.20920
84. Intrinsic Flow Matching on Quantum Pure-State Manifolds with Phase-Aligned Transport
量子纯态流形上的内禀流匹配与相位对齐输运
AI 总结:提出内禀流匹配(IFM)框架,在复射影空间上通过Pancharatnam相位对齐条件路径学习切向速度场,实现确定性输运,改善高维和相干敏感任务的生成建模。
链接:https://arxiv.org/abs/2606.21256
85. Atomistic Language Models Understand and Generate Materials
原子语言模型理解与生成材料
AI 总结:提出原子语言模型(ALMs),通过连续投影和分阶段训练统一原子编码器、大语言模型和去噪扩散模型,实现从自然语言生成和优化晶体结构,在晶体结构预测和从头生成上达到最优。
链接:https://arxiv.org/abs/2606.21395
86. Post-Training Speech Enhancement Language Models with Perceptual Rewards
基于感知奖励的语音增强语言模型后训练
AI 总结:提出使用组序列策略优化(GSPO)结合多指标感知奖励对自回归语音增强语言模型进行后训练,直接优化非可微质量指标,在DNS2020基准上达到最优,且多奖励优化优于单指标变体。
链接:https://arxiv.org/abs/2606.21458
87. Causal Variational Deep Embedding: A Family of Interventional Generators for Confounded Images
因果变分深度嵌入:一类针对混杂图像的可干预生成器
AI 总结:提出CauVaDE,基于规范增广SCM将未观测混杂因子分解为离散潜变量,通过熵正则化追踪可行干预分布族,在图像数据上生成多样化干预样本并提升FID。
链接:https://arxiv.org/abs/2606.21806
88. Encoder-Decoder Manifold Alignment for Idempotent Generation
用于幂等生成的编码器-解码器流形对齐
AI 总结:针对生成模型中幂等性不足导致的重复应用不稳定问题,提出通过对齐编码器和解码器学习的流形来训练模型,显著降低幂等误差并提升生成稳定性。
链接:https://arxiv.org/abs/2606.22304
89. Diffusion Integrated Gradients: Controllable Path Generation for Flexible Feature Attribution
扩散积分梯度:用于灵活特征归因的可控路径生成
AI 总结:提出扩散积分梯度(DiffIG),通过扩散模型生成路径并嵌入用户引导,实现灵活可控的特征归因,在定量和定性上优于现有方法。
链接:https://arxiv.org/abs/2606.22314
90. Generative Robust Optimisation
生成式鲁棒优化
AI 总结:提出生成式鲁棒优化(GRO)框架,用深度生成模型定义不确定性集,通过五点评分标准评估,结合Wasserstein对抗自编码器实现,在规划问题中验证其表达力与可解性。
链接:https://arxiv.org/abs/2606.22536
91. A Markov Chain Approach to Preference Alignment
一种偏好对齐的马尔可夫链方法
AI 总结:提出MCHF方法,通过直接利用成对偏好定义马尔可夫核实现生成模型对齐,理论证明其几何收敛速度由非传递结构量决定,并与NLHF和RLHF方法建立统一视角。
链接:https://arxiv.org/abs/2606.22652
92. One-Step Flow Matching for Generative Modeling of Path-Dependent Physical Fields
路径依赖物理场生成建模的一步流匹配
AI 总结:提出基于Transformer的流匹配模型,在VAE潜空间中生成高分辨率路径依赖应力场,通过非高斯源分布实现一步生成,速度比有限元分析快6-7倍(CPU)或两个数量级(GPU)。
链接:https://arxiv.org/abs/2606.22752
93. Neural Operator Processes for Probabilistic Operator Learning under Partial Observations
神经算子过程:部分观测下的概率算子学习
AI 总结:提出神经算子过程(NOPs),统一神经过程条件与神经算子解码,从稀疏部分观测预测完整输出场,支持确定性与概率预测,并在函数回归和PDE基准上验证了稀疏条件算子学习的可行性。
链接:https://arxiv.org/abs/2606.22946
94. PG-MAP: Joint MAP Optimization for Inference-Time Alignment of Diffusion and Flow-Matching Models
PG-MAP:扩散与流匹配模型推理时对齐的联合MAP优化
AI 总结:提出PG-MAP框架,通过轨迹级Gibbs-MAP/近端能量优化联合调节条件c和潜变量z_t,实现扩散与流匹配模型的推理时对齐,无需训练即可提升对齐指标。
链接:https://arxiv.org/abs/2606.22958
95. Understanding Parallel Samplers in Masked Diffusion via Random Walks on Graphs
通过图上的随机游走理解掩码扩散中的并行采样器
AI 总结:提出以图上随机游走为可验证沙盒,研究掩码扩散模型中的并行采样策略,理论上证明最低熵等并行采样并非普遍优于随机采样,并开发了二分采样器,实验表明不同图适用不同采样器。
链接:https://arxiv.org/abs/2606.22976
96. Distribution-Aware Diffusion-LLM for Robust Ultra-Long-Term Time Series Forecasting
分布感知的扩散-大语言模型用于鲁棒的超长期时间序列预测
AI 总结:提出Diffusion-LLM框架,将条件扩散模型集成到基于LLM的预测流程中,学习未来数据条件分布并改善语义对齐,在超长期和少样本预测中显著优于现有LLM基线。
链接:https://arxiv.org/abs/2606.23391
97. Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models
调度思维:在扩散语言模型中学习思维的顺序
AI 总结:提出自感知调度(SAS),通过策略优化学习扩散语言模型中的去掩码顺序,显著提升Sudoku和数学推理任务的生成质量。
链接:https://arxiv.org/abs/2606.23567
98. DiT-Reward: Generative Representations for Text-to-Image Reward Modeling
DiT-Reward:文本到图像奖励建模的生成式表示
AI 总结:提出DiT-Reward,利用预训练文本到图像扩散Transformer的生成表示进行奖励预测,在多个偏好基准上超越HPSv3,并实现1.65倍推理加速。
链接:https://arxiv.org/abs/2606.23626
5. 优化、泛化与理论分析 | 29 篇
99. Formalizing Task-Space Complexity for Zero-Shot Generalization
形式化零样本泛化的任务空间复杂度
AI 总结:提出一种基于性能的有向任务差异(符号散度),用于界定零样本泛化差距,并推导出任务空间复杂度的概念,通过贪心选择源策略实现ε覆盖。
链接:https://arxiv.org/abs/2606.20967
100. What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility
准确率和梯度余弦遗漏了什么:通过尺度稳定性、参考有效性和深度效用评估反馈对齐
AI 总结:针对反馈对齐方法评估中准确率和余弦相似度无法检测的两种隐性失效模式,提出包含尺度稳定性、参考有效性和深度效用三项检查的诊断协议,并采用逐层余弦报告。
链接:https://arxiv.org/abs/2606.21126
101. Dead-Direction Signatures: A Cheap Spectral Reading of Singular Complexity
死方向签名:一种廉价的奇异复杂度谱解读
AI 总结:提出死方向签名(DDS),通过激活矩阵或Fisher-Gram的谱线性代数替代SGLD,廉价读取深度网络奇异结构的几何信息,并验证了与理论RLCT的秩跟踪关系。
链接:https://arxiv.org/abs/2606.21158
102. Fusing Backdoors, Machine Learning, and Optimization for Large-Scale Parametric Mixed-Integer Programs
融合后门、机器学习与优化的大规模参数化混合整数规划
AI 总结:提出BIPC框架,通过识别后门变量并利用监督学习预测其值,将大规模混合整数规划简化为子问题,显著加速求解,同时保持解质量。
链接:https://arxiv.org/abs/2606.21440
103. Towards Understanding the Power and Limits of the Muon Optimizer: A River-Valley Perspective
理解Muon优化器的能力与局限:河流-山谷视角
AI 总结:提出混合尖峰矩阵感知模型,从河流-山谷视角分析Muon优化器在早期加速收敛但后期易振荡的机制,并建议在最后阶段切换为GD类优化器。
链接:https://arxiv.org/abs/2606.21514
104. The Cost Geometry of Belief: finite-resource inference under noisy observation
信念的成本几何:有限资源下含噪观测的推理
AI 总结:本文引入信念空间的成本几何(Wasserstein最优传输经Fisher信息共形加权),证明确定性被观测和物理双重否定,并揭示三个不变结果:推理墙、诚实成本与刚性双曲几何,其中高斯分布为最极端位置-尺度信念。
链接:https://arxiv.org/abs/2606.21585
105. Geometric and Information Compression of Representations in Deep Learning
深度学习中表示的几何与信息压缩
AI 总结:研究深度神经网络中互信息与几何压缩的关系,发现低互信息不一定对应几何压缩,两者关系非线性且受泛化影响。
链接:https://arxiv.org/abs/2606.21593
106. Expressivity Saturation: Reduced Affine Region Usage Under Increasing Task Complexity
表达性饱和:任务复杂度增加下仿射区域使用减少
AI 总结:本文研究了分段仿射神经网络中理论区域容量与训练后实际区域使用之间的差距,发现随着任务复杂度增加,训练后网络使用的仿射区域显著减少,称为表达性饱和,并分析了其对决策边界的影响。
链接:https://arxiv.org/abs/2606.21687
107. Decision-Focused Learning: When and Why Traditional Prediction Models Fail
决策导向学习:传统预测模型何时失效及原因
AI 总结:本文综述决策导向学习(DFL),指出传统预测模型因忽略下游决策优化而导致预测精度与决策质量脱节,并探讨了随机线性规划下DFL的关键方法学见解。
链接:https://arxiv.org/abs/2606.21773
108. Ranking-and-Selection with Multiple Correct Answers and Non-Answerable Estimates
具有多个正确答案和不可回答估计的排序与选择
AI 总结:针对答案可能不唯一且噪声估计可能暂时无有效答案的结构化排序与选择问题,提出基于答案接受集、受限广义似然比停止和答案陷阱分解的统一框架,并设计ENDS算法,通过数值实验验证其有效性。
链接:https://arxiv.org/abs/2606.21889
109. On the Curse of Dimensionality in Private Sparse Covariance Estimation and PCA
私有稀疏协方差估计与PCA中的维度灾难
AI 总结:研究差分隐私下稀疏协方差矩阵估计和PCA的样本复杂度,发现当特征向量稀疏时,poly(k, log d)样本足够,否则需poly(d)样本,揭示了私有与非私有版本间的指数差距。
链接:https://arxiv.org/abs/2606.21951
110. Sequential Minimal Optimization Algorithm for One-Class Support Vector Machines With Privileged Information
带特权信息的一类支持向量机的序列最小优化算法
AI 总结:提出针对带特权信息的一类支持向量机(OC-SVM+)的SMO算法,显著优于非序列算法,并证明有限时间收敛性。
链接:https://arxiv.org/abs/2606.22210
111. On the Expressive Power of Weight Quantization in Large Language Models
大语言模型中权重量化的表达能力
AI 总结:本文通过理论分析,证明1.58比特是权重量化的极限精度,并揭示量化比特数减少会导致表达能力多项式级退化。
链接:https://arxiv.org/abs/2606.22249
112. On the Sparsity-Storage-Accuracy Tradeoff in Parsimoniously Activated Dictionary Learning
稀疏性-存储-精度权衡在简约激活字典学习中的研究
AI 总结:本文提出简约激活字典学习(PADL)的结构化生成模型解释,推导出稀疏性、存储成本与重建精度之间的权衡关系,并开发出无需手动调参的高效算法,在视觉基准上取得更优性能。
链接:https://arxiv.org/abs/2606.22352
113. Bypassing Minimization Bias: A Shift-Invariant Variance Estimator for Off-Equilibrium Local Learning Coefficients
绕过最小化偏差:非平衡局部学习系数的平移不变方差估计器
AI 总结:提出平移不变方差估计器(SIVE),通过方差算子消除未知加性基线,结合全方差公式校正,在非平衡训练阶段可靠估计局部学习系数。
链接:https://arxiv.org/abs/2606.22389
114. Asymptotic Signal Subspace Recovery in Softmax Attention Models
Softmax注意力模型中的渐近信号子空间恢复
AI 总结:本文通过随机梯度上升学习查询向量,利用随机逼近和动力系统理论,证明在高维缩放假设下,学习到的查询几乎必然收敛到潜在信号子空间,从而从理论上解释了注意力机制作为信号提取过程。
链接:https://arxiv.org/abs/2606.22406
115. Escaping the Variance Trap: Jacobian-Free Dynamics for Root-Finding Bilevel Optimization
逃离方差陷阱:用于求根双层优化的无雅可比动力学
AI 总结:提出求根双层优化(RF-BO)框架,采用无雅可比的两时间尺度随机逼近(TTSA)方法,避免方差放大,并提供非渐近收敛保证,在多个任务中显著优于基线。
链接:https://arxiv.org/abs/2606.22433
116. Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation
分布感知的鲁棒双层优化:双时间尺度随机逼近中的分位数引导Huber更新
AI 总结:针对双层优化在重尾噪声下的不稳定性,提出分布感知框架RQ-TTSA,利用历史梯度缓冲估计滚动分位数进行自适应Huber裁剪,在非凸强凸假设下达到最优收敛率,实验验证其鲁棒性和低计算开销。
链接:https://arxiv.org/abs/2606.22436
117. Clipping the Price of Adaptivity at the Tail
在尾部剪裁自适应性的代价
AI 总结:针对自适应随机凸优化中无法同时适应初始距离和Lipschitz常数不确定性的问题,提出一种在尾部对模型输出进行剪裁的方法,实现了对数级别的自适应。
链接:https://arxiv.org/abs/2606.22669
118. Minimax Quantile Lower Bounds for Interactive Statistical Decision Making with Privacy
具有隐私保护的交互式统计决策的最小最大分位数下界
AI 总结:针对期望准则忽略罕见但严重后果的问题,提出δ-显式最小最大分位数理论,导出高概率交互式Fano和Le Cam方法,并应用于带隐私约束的高斯均值估计和K臂高斯老虎机,得到显式下界。
链接:https://arxiv.org/abs/2606.23096
119. Stage-dependent integer-binary encoding in factorization-machine black-box optimization
因子分解机黑箱优化中的阶段依赖整数-二进制编码
AI 总结:针对黑箱优化中传统FMQA使用单一编码的局限,提出阶段依赖编码框架,在Rastrigin函数上验证学习阶段用独热编码、搜索阶段用域壁编码可提升性能。
链接:https://arxiv.org/abs/2606.23188
120. Non-asymptotic estimates of the minimal risk in statistical learning
统计学习中最小风险的非渐近估计
AI 总结:本文利用经验风险原则,通过非渐近高置信度界估计最小风险的下界和上界,放宽了有界性条件,并证明了置信度与训练参数数和输入维数无关。
链接:https://arxiv.org/abs/2606.23295
121. Convergence of Gradient Descent for General Neural Network Architectures Beyond the NTK Regime
超越NTK机制的一般神经网络架构的梯度下降收敛性
AI 总结:提出一个分析梯度下降动力学的收敛框架,适用于广泛神经网络架构和数据集,证明在温和假设下梯度下降几乎必然收敛到驻点邻域,并给出学习率缩放规律。
链接:https://arxiv.org/abs/2606.23364
122. Differential Spectral Damping Gap Adaptive Regularization for Ill-Conditioned Kernel Methods
病态核方法的微分谱阻尼自适应正则化
AI 总结:针对核方法中病态矩阵的特征值指数衰减问题,提出微分谱阻尼(DSD)正则化方法,基于Davis-Kahan定理自适应惩罚局部特征间隙,在真实数据集上分类准确率提升最高达10.4个百分点。
链接:https://arxiv.org/abs/2606.23407
123. Solve for the Hyperparameter, Skip the Search: Kolmogorov-Optimal Scaling Laws for Spline Regression
求解超参数,跳过搜索:样条回归的Kolmogorov最优缩放律
AI 总结:提出KORE算法,通过闭式求解样条回归的最优分辨率,避免网格搜索,在低交互阶数据上实现计算效率与精度的最优权衡。
链接:https://arxiv.org/abs/2606.23575
124. Muown Implicitly Performs Angular Step-size Decay
Muown 隐式执行角步长衰减
AI 总结:本文揭示 Muown 优化器的方向更新等价于归一化方向上的黎曼步长,其未归一化参数幅度仅调节角步长,据此提出显式角步长的 AngularMuown 方法,在 nanoGPT 竞赛和 Qwen2 等模型上表现更优。
链接:https://arxiv.org/abs/2606.23637
125. Dynamic estimation of slowly varying sequences
缓慢变化序列的动态估计
AI 总结:针对缓慢变化序列,提出通用框架将隐式迹估计推广到多种线性和非线性函数,并开发自适应预算算法,获得更优的路径长度变分界。
链接:https://arxiv.org/abs/2606.23655
126. On the Limits of Prompt-Conditioned Language Models as General-Purpose Learners
关于提示条件语言模型作为通用学习器的局限性
AI 总结:本文通过廉价谈话博弈模型分析提示条件语言模型,证明语言作为容量受限通道导致任务不可区分性,并因对齐约束产生不可约误差,从而否定其通过提示实现通用问题求解的能力。
链接:https://arxiv.org/abs/2606.23668
127. Open Problem: Is AdamW Effective Under Heavy-Tailed Noise?
开放问题:AdamW 在重尾噪声下是否有效?
AI 总结:本文提出开放问题:AdamW 在重尾噪声下能否收敛?通过加权度量基准和走廊下界机制,揭示分母记忆可能隐藏大梯度。
链接:https://arxiv.org/abs/2606.23676
6. 高效学习、压缩与部署 | 22 篇
128. Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL
揭秘LLM推理中的数值不稳定性:使用HEAL实现关键任务的可复现推理
AI 总结:针对LLM在关键任务中因16位精度导致输出不一致的问题,提出HEAL方法,通过INT16量化和代数误差补偿,在保持FP32精度的同时减少性能开销。
链接:https://arxiv.org/abs/2606.21023
129. An Empirical Study of OpenPangu Quantization on Ascend NPUs
OpenPangu在昇腾NPU上量化的实证研究
AI 总结:本文在昇腾910B1 NPU上系统评估了OpenPangu 1B和7B模型在多种后训练量化方法下的表现,发现8-bit权重量化无损,4-bit对7B模型可行但对1B模型有显著损害,极低比特量化仍具挑战。
链接:https://arxiv.org/abs/2606.21257
130. Fast-TurboQuant: A Multiplier-Free Online Vector Quantization Approach
Fast-TurboQuant:一种无乘法器的在线向量量化方法
AI 总结:提出Fast-TurboQuant,用结构化快速Johnson-Lindenstrauss变换替代密集随机旋转矩阵,实现无乘法器投影,在DBpedia数据集上获得19.7倍加速并提升召回率。
链接:https://arxiv.org/abs/2606.21448
131. Memory Is No Longer a Bottleneck: Memory-Efficient Graph Filtering for Scalable Collaborative Filtering
记忆不再是瓶颈:面向可扩展协同过滤的高效内存图滤波
AI 总结:提出Mem-GF方法,利用Krylov子空间近似多项式图滤波器,无需存储完整项目相似图,显著降低内存消耗并提升速度,同时保持或超越现有方法的推荐精度。
链接:https://arxiv.org/abs/2606.21540
132. HERALD: High-Throughput Block Diffusion LLM Serving via CPU-GPU Cooperative KV Cache Retrieval
HERALD: 通过CPU-GPU协同KV缓存检索实现高吞吐量块扩散LLM服务
AI 总结:针对块扩散LLM中KV缓存随上下文增长导致吞吐量下降的问题,提出HERALD系统,利用块内去噪步骤间KV条目一致性,通过稀疏检索和计算重叠实现高精度低开销的KV卸载,在5-10%缓存预算下达到近无损精度,延迟降低1.59倍,吞吐量提升2.47倍。
链接:https://arxiv.org/abs/2606.21633
133. UniRank: Unified Rank Allocation for Low-Rank LLM Compression
UniRank: 面向低秩大语言模型压缩的统一秩分配方法
AI 总结:提出UniRank方法,将全局低秩分配转化为排序截断流程,通过局部奇异能量比和全局功能重要性双准则评分各奇异分量,并引入秩保持微调避免信息损失,在一次性压缩中困惑度降低高达50%。
链接:https://arxiv.org/abs/2606.21847
134. WiSP: A Working-Set View of Mixture-of-Experts Serving on Extremely Low-Resource Hardware
WiSP:极低资源硬件上混合专家模型服务的工作集视角
AI 总结:针对低资源GPU上MoE模型因专家层CPU卸载导致稀疏性优势丧失的问题,提出工作集分页(WiSP)和边际价值工作集分配(MV-WSA),实现专家与KV缓存间VRAM动态分配,解码吞吐量提升至1.95倍。
链接:https://arxiv.org/abs/2606.21868
135. Prefix-Guided On-Policy Distillation: Mining Golden Trajectories from Rollouts
前缀引导的在线策略蒸馏:从轨迹中挖掘黄金轨迹
AI 总结:针对在线策略蒸馏在长程数学推理中效率低、噪声大的问题,提出前缀引导的在线策略蒸馏,通过前缀长度估计轨迹价值,仅对高重叠候选继续生成长轨迹,在多个基准上提升准确率并减少训练时间。
链接:https://arxiv.org/abs/2606.21994
136. Early-Exit Graph Neural Networks for Link Prediction
用于链接预测的早期退出图神经网络
AI 总结: 提出一种无需辅助损失的早期退出策略,在GCN和SAS-GNN骨干网络上实现链接预测的加速,同时保持或提升预测质量。
链接:https://arxiv.org/abs/2606.22167
137. L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling
L20-Edu-135M: 一个可审计的单GPU数据高效小语言模型研究
AI 总结:本研究在单块NVIDIA L20 GPU上训练134.5M参数的语言模型,使用约13B tokens,通过数据筛选、去重、SFT和RLVR等方法,在零样本任务上达到SmolLM-135M 87.1%的性能,但仅使用其2.17%的tokens。
链接:https://arxiv.org/abs/2606.22189
138. SCENIC: Semantic-Conditioned Edge-Aware Neural Framework for Structured IoT Command Generation
SCENIC: 语义条件边缘感知的结构化物联网命令生成神经框架
AI 总结:提出SCENIC框架,通过小规模Transformer、三元组损失微调、剪枝量化等方法,在边缘设备上高效生成结构化IoT命令,达到高准确率并显著压缩模型。
链接:https://arxiv.org/abs/2606.22296
139. RLM-Cascade: Response-Level Speculative Decoding for Cost-Efficient LLM API Serving
RLM-Cascade:用于成本高效LLM API服务的响应级推测解码
AI 总结:提出RLM-Cascade代理层系统,通过响应级推测解码降低LLM API成本,在真实编码工作负载上实现45.8%成本降低和1.83倍延迟加速,同时保持或超越基线质量。
链接:https://arxiv.org/abs/2606.22840
140. SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers
SpotAttention: 面向预训练长上下文Transformer的即插即用块稀疏路由
AI 总结:提出SpotAttention,一种轻量级选择器,通过KL蒸馏学习估计注意力分布,实现块稀疏路由,在长上下文任务中匹配密集注意力精度并显著加速解码。
链接:https://arxiv.org/abs/2606.22874
141. FORGE: Fused On-Register Gradient Elimination for Memory-Efficient LLM Training
FORGE: 融合寄存器梯度消除以实现内存高效的大语言模型训练
AI 总结:提出FORGE方法,将优化器步骤融合到反向传播中,逐块在寄存器中应用,消除梯度张量,减少内存占用并加速训练,在微调和持续预训练中速度提升约1.5倍。
链接:https://arxiv.org/abs/2606.22932
142. PeLAP-A: Adaptive Latent Pruning for Lightweight Latent Diffusion Models
PeLAP-A:面向轻量级潜在扩散模型的自适应潜在剪枝
AI 总结:提出PeLAP-A框架,通过可学习的通道重要性预测器对潜在通道进行自适应剪枝,发现强稀疏正则化下所有通道被抑制但去噪UNet性能反而提升,揭示潜在扩散模型的信息冗余现象。
链接:https://arxiv.org/abs/2606.23086
143. FlowTrain: Flow-Based Decoupled Training for Industrial-Grade Vision-Language Models
FlowTrain:面向工业级视觉-语言模型的基于流的解耦训练
AI 总结:提出FlowTrain框架,通过生产者-消费者数据流和统一内存池解耦编码器与主干网络训练,采用异构并行分配器和动态打包调度器,实现超过50% MFU和1.7倍吞吐量提升。
链接:https://arxiv.org/abs/2606.23087
144. Leveraging AutoML for Sustainable Deep Learning: A Multi-Objective HPO Approach on Deep Shift Neural Networks
利用AutoML实现可持续深度学习:深度移位神经网络的多目标HPO方法
AI 总结:提出结合多保真超参数优化与多目标优化自动设计深度移位神经网络,在图像分类中同时提升性能约20%并减少排放超60%,揭示量化策略中的模型特定权衡。
链接:https://arxiv.org/abs/2606.23208
145. Efficient Network Inference via Hardware-Aware Architecture Search, Model Pruning & Quantization
通过硬件感知架构搜索、模型剪枝与量化实现高效网络推理
AI 总结:针对嵌入式GNSS干扰监测中资源受限与模型性能的矛盾,研究结合迭代结构化剪枝、训练后静态量化和硬件感知零样本神经架构搜索,在MCUNet基础上压缩模型并优化架构,实现实时干扰分类与表征。
链接:https://arxiv.org/abs/2606.23210
146. HyperQuant: A Rate-Distortion-Optimal Quantization Pipeline for Large Language and Diffusion Models
HyperQuant: 面向大型语言和扩散模型的率失真最优量化流水线
AI 总结:提出HyperQuant统一后训练量化流水线,通过随机Hadamard变换、最优格量化、无损比特剥离和近熵最优Rice编码,在权重和KV缓存上实现率失真最优,优于现有方案。
链接:https://arxiv.org/abs/2606.23406
147. GRINQH: Graded Input-based Quantization Hierarchy for Efficient LLM Generation
GRINQH:基于分级输入的量化层次结构用于高效LLM生成
AI 总结:提出GRINQH框架,利用激活幅度动态分配权重通道精度,统一量化与稀疏化,加速LLM解码阶段,在Llama3和Qwen3上优于现有方法,实现2位生成。
链接:https://arxiv.org/abs/2606.23419
148. The Energy Consumption of Transformer Fine-Tuning: A Roofline-Inspired Scaling Model
Transformer微调的能耗:基于Roofline的缩放模型
AI 总结:提出一个框架建模Transformer在多GPU上训练的能耗,通过BERT架构扫描关联能耗与计算、内存流量和硬件效率,推导出跨异构配置准确预测训练能耗的缩放定律模型。
链接:https://arxiv.org/abs/2606.23546
149. SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression
SVD-Surgeon:面向大语言模型压缩的最优奇异值手术
AI 总结:提出SVD-Surgeon,一种无需训练的方法,将最优脑外科医生框架引入奇异值基,通过闭式更新保留的奇异值补偿截断损失,并基于显著性选择修剪值,可叠加于现有SVD压缩器上,改善困惑度-压缩权衡。
链接:https://arxiv.org/abs/2606.23568
7. 联邦学习、隐私与安全 | 13 篇
150. Enhancing Differentially Private Mechanisms via Empirical Bayes
通过经验贝叶斯增强差分隐私机制
AI 总结:提出利用经验贝叶斯估计对简单加性高斯机制的输出进行去噪,以提升差分隐私算法的效用,并在直方图发布、主成分分析和线性回归等任务中优于现有方法。
链接:https://arxiv.org/abs/2606.21107
151. Federated Temporal Attention Intelligence for Cyber-Resilient IoMT: Lightweight Digital Twins and PPO-Driven Honeypot Deception
面向网络韧性医疗物联网的联邦时序注意力智能:轻量级数字孪生与PPO驱动的蜜罐欺骗
AI 总结:提出LDT-FRL框架,结合时序注意力编码器、轻量级LSTM数字孪生、联邦PPO智能体和蜜罐层,在资源受限的IoMT设备上实现隐私保护的网络攻击检测与响应,在CICDDoS 2019和TON-IoT数据集上分别达到99.66%和99.95%的测试准确率。
链接:https://arxiv.org/abs/2606.21422
152. Privacy-Preserving Federated Temporal Graph Learning with Digital Twin--Guided Adaptive Deception for Cyber-Resilient IoMT
基于数字孪生引导自适应欺骗的隐私保护联邦时序图学习及其在弹性医疗物联网中的应用
AI 总结:提出联邦时序图卷积网络与优势演员-评论家(Federated TGCN-A2C)架构,结合数字孪生异常评分、联邦A2C动作选择和增强蜜罐层,在CICDDoS 2019和TON-IoT数据集上分别达到99.48%和99.61%的测试准确率,并覆盖更多攻击类别。
链接:https://arxiv.org/abs/2606.21513
153. AdaPrivate-TS: Private Thompson Sampling for Contextual Bandits with Privacy Amplification
AdaPrivate-TS:具有隐私放大的上下文赌博机私有汤普森采样
AI 总结:提出AdaPrivate-TS算法,结合汤普森采样与批量zCDP组合,利用差分隐私噪声结构化膨胀后验协方差,在事件级隐私下实现O(√d log T/√ρ)的隐私成本,并通过泊松子采样放大隐私,实验表明在ε∈[0.5,5]时达到非私有性能的93-99%。
链接:https://arxiv.org/abs/2606.21757
154. Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
具有重尾梯度噪声和通信噪声的联邦学习:一种基于方差缩减的算法
AI 总结:针对联邦学习中重尾梯度噪声和通信噪声问题,提出基于方差缩减的VRA-FedSGD算法,通过动量方差缩减和非线性映射抑制噪声,在非凸和强凸目标下分别达到理论收敛速率,实验验证有效性。
链接:https://arxiv.org/abs/2606.22466
155. Fed-CausalDiff: Decoupled Synchronization for Federated Do-Simulation and Policy Evaluation
Fed-CausalDiff: 面向联邦干预模拟与策略评估的解耦同步方法
AI 总结:提出Fed-CausalDiff联邦因果扩散框架,通过将潜在状态演化解耦为全局因果评分和局部混杂评分,实现解耦同步,在保护数据隐私的同时提升干预效应和策略价值估计精度。
链接:https://arxiv.org/abs/2606.22510
156. SCRUB-FL: Sanitizing and Cleansing Representations via Unlearning of Backdoors
SCRUB-FL:通过遗忘后门来净化和清洗表示
AI 总结:提出SCRUB-FL,一种两阶段后门移除方法,在训练时通过谱分析和激活聚类检测可疑样本并训练WGAN-GP捕获触发分布,收敛后利用机器遗忘合成近似触发样本并消除触发-目标关联,在CIFAR-10和GTSRB上后门攻击成功率降至3.88%,正常任务准确率超91%。
链接:https://arxiv.org/abs/2606.22700
157. Subspace-Constrained Federated Learning with Low-Rank Adaptation
子空间约束的联邦学习与低秩自适应
AI 总结:针对联邦低秩自适应中客户端子空间错位导致聚合效率低的问题,提出子空间正则化联邦LoRA目标,鼓励局部更新靠近共享全局子空间,在RoBERTa-large和SmolLM-360M上验证了方法有效性。
链接:https://arxiv.org/abs/2606.22724
158. Factored Gossip DiLoCo: Reducing Blocking Communication in DiLoCo
因式化Gossip DiLoCo:减少DiLoCo中的阻塞通信
AI 总结:提出因式化Gossip DiLoCo,通过非阻塞混合与阻塞混合分解同步,在低带宽环境下提升计算利用率并保持优化稳定性。
链接:https://arxiv.org/abs/2606.22768
159. Towards Robust Personalized Federated Learning: Vulnerability Assessment and Defense Co-Design
面向鲁棒个性化联邦学习:脆弱性评估与防御协同设计
AI 总结:本文发现个性化联邦学习(PFL)方法比集中学习更易受基于迁移的对抗攻击,并通过理论分析和实验验证,提出结合随机输入噪声、输入缩放迹正则化和参数灵敏度最大化的防御框架。
链接:https://arxiv.org/abs/2606.22782
160. Priority-Aware Learning-Unlearning Correction for Dynamic Decentralized LoRA Fine-Tuning
面向动态去中心化LoRA微调的优先级感知学习-遗忘校正
AI 总结:针对去中心化边缘网络中设备动态加入/离开导致的参数纠缠问题,提出基于正交LoRA的优先级感知校正框架,通过拓扑调整和资源分配实现高效知识评估与修正。
链接:https://arxiv.org/abs/2606.22878
161. FLFL: Federated Latent Factor Learning for Private Recovery of Spatio-Temporal Signals
FLFL: 面向时空信号隐私恢复的联邦潜在因子学习
AI 总结:针对无线传感器网络数据缺失和隐私保护问题,提出基于联邦学习的潜在因子模型FLFL,通过上传梯度而非原始数据并融入时空正则化,实现高精度隐私保护信号恢复。
链接:https://arxiv.org/abs/2606.23091
162. Unlocking In-Context Learning in Audio-Language Models from Decentralized Medical Audio
从分散的医疗音频中解锁音频-语言模型的上下文学习
AI 总结:提出联邦自上下文学习(FSC)框架,通过无监督聚类构建伪标签片段,结合渐进式三阶段流水线,在联邦医院客户端实现少样本临床音频诊断,准确率达71.6%。
链接:https://arxiv.org/abs/2606.23243
8. 鲁棒性、不确定性与可信学习 | 14 篇
163. Distinguishing indistinguishable attractors: Unsupervised anomaly detection with reservoir computers
区分不可区分的吸引子:基于储层计算的无监督异常检测
AI 总结:提出一种基于储层计算机输出权重的Kolmogorov-Smirnov检验方法,用于非线性动力系统的无监督异常检测,能检测经典方法和深度学习无法识别的状态变化,并在多个任务中超越最强基线。
链接:https://arxiv.org/abs/2606.21322
164. VLA-FAIL: Efficient Task Failure Detection for Finetuned Vision-Language-Action Models
VLA-FAIL:面向微调视觉-语言-动作模型的高效任务失败检测
AI 总结:提出轻量级失败检测框架VLA-FAIL,结合最后一层马氏距离(LLMD)和动作块一致性(ACC)两种无需失败数据的检测器,实现高效且通用的任务失败检测。
链接:https://arxiv.org/abs/2606.21386
165. Robustness Cannot be Reduced to Regularization: Studying Adversarial Training Beyond the Linear Case
鲁棒性不能简化为正则化:研究线性情况之外的对抗训练
AI 总结:本文证明两层网络中对抗风险无法等价于任何简单正则化风险,并通过实验表明深层架构中同样存在这种不可简化性。
链接:https://arxiv.org/abs/2606.21488
166. Channel Location Constrains the Auditability of Subliminal Learning
通道位置限制潜意识学习的可审计性
AI 总结:研究潜意识学习中隐藏特征传递的可审计性,发现通道位置决定审计有效性,并识别三种传递机制,证明审计必须匹配载体通道。
链接:https://arxiv.org/abs/2606.22019
167. Residue-Level Attributions in Protein Language Models Do Not Recover Allergen Epitopes
蛋白质语言模型中的残基级归因不能恢复过敏原表位
AI 总结:本研究通过引入表位基准,评估蛋白质过敏原性模型的可解释性,发现分类器残基级归因与注释表位对齐不显著,模型可能依赖理化特征而非表位特异性机制。
链接:https://arxiv.org/abs/2606.22181
168. Reliability-Guided Adaptive Ensembling for Robust Test-Time Adaptation
可靠性引导的自适应集成用于鲁棒测试时自适应
AI 总结:针对对抗性污染测试流中测试时自适应(TTA)的脆弱性,提出无训练的可靠性引导增强包装器SAFER,通过随机增强和相关性加权池化提高鲁棒性,并引入自适应混合扩展以保持干净性能。
链接:https://arxiv.org/abs/2606.22351
169. The Scissors Effect: When Resize-Based Input Diversity Helps or Hurts Transfer Attacks
剪刀效应:基于调整大小的输入多样性何时帮助或损害迁移攻击
AI 总结:发现输入多样性(DI)对迁移攻击的成功率有双重影响:对标准代理提升迁移性,但对鲁棒代理降低迁移性,形成“剪刀效应”,并通过梯度几何分析和局部梯度一致性(LGC)指标解释该现象。
链接:https://arxiv.org/abs/2606.22516
170. CLIP-guided Diffusion Model for Backdoor Generation in Sensor-based Human Activity Recognition
基于CLIP引导的扩散模型在传感器人体活动识别中的后门生成
AI 总结:提出IMU-DM-CLIP方法,利用扩散模型生成带后门的合成数据,以10%注入率和10%引导数据成功攻击HAR模型。
链接:https://arxiv.org/abs/2606.22837
171. The Unseen Hand: Manipulating Model Fairness and SHAP with Targeted Identity Re-Association Attacks
无形之手:通过目标身份重新关联攻击操纵模型公平性和SHAP
AI 总结:提出目标身份重新关联(TIRA)攻击,通过概率性微扰操纵模型输出,在不留痕迹的情况下扭曲公平性指标和SHAP解释。
链接:https://arxiv.org/abs/2606.22858
172. Attacking the Trusted Imagination: Oracle-Level Integrity Attacks on Imagine-then-Act World Models
攻击可信想象:对“先想象后行动”世界模型的预言机级完整性攻击
AI 总结:针对“先想象后行动”的视觉-语言-动作策略,发现世界模型中的想象轨迹是暴露的攻击面,通过有界观测扰动破坏想象,并设计无参数去噪检测器,实验显示非定向破坏效果显著,但定向控制受限。
链接:https://arxiv.org/abs/2606.22966
173. Memory Contagion: Cross-Temporal Propagation of Evaluator Bias via Agent Memory
记忆传染:通过智能体记忆的评估者偏见的跨时间传播
AI 总结:研究大型语言模型智能体记忆中评估者偏见通过记忆存储跨时间传播的现象,发现即使完美记忆整合也会导致偏见传播,且无安全阈值。
链接:https://arxiv.org/abs/2606.23195
174. Exposing the Illusion of Erasure in Knowledge Editing for LLMs
揭露大语言模型知识编辑中的擦除幻象
AI 总结:本文从对抗性诱发角度揭示知识编辑并未真正擦除旧知识,而是将其重新分布并抑制表达,且易受间接提示和对抗攻击,证明知识编辑算法本质上可被绕过。
链接:https://arxiv.org/abs/2606.23276
175. Rethinking Molecular Graph Backdoors under Chemistry-aware Admission
在化学感知准入下重新思考分子图后门
AI 总结:本文提出ChemGuard准入协议,揭示现有图后门因化学无效或表示不一致而失效,并设计ChemBack攻击,通过化学可行的基序锚点附着和指纹相似度排序,实现高成功率后门攻击。
链接:https://arxiv.org/abs/2606.23361
176. Discovering Latent Groups for Robust Classification
发现潜在群体以实现鲁棒分类
AI 总结:提出神经分类树(NCT),通过树形架构编码子群结构,无需子群监督即可分离冲突子群,在多个基准上取得与最先进方法相当的鲁棒性,并提供了可解释性。
链接:https://arxiv.org/abs/2606.23609
9. 图学习与结构化数据 | 20 篇
177. CIExplainer++: Generating Causal and Interpretable Explanations for Graph Neural Networks
CIExplainer++:生成图神经网络的因果和可解释解释
AI 总结:提出CIExplainer方法,基于潜在结果框架识别对GNN预测因果影响最大的子图,并进一步提出G2TeXplainer将因果子图转化为自然语言解释。
链接:https://arxiv.org/abs/2606.20747
178. MMGNN: Multi-level, multi-color graph neural networks for molecular property prediction
MMGNN:用于分子性质预测的多层次、多颜色图神经网络
AI 总结:提出MMGNN框架,通过将分子图分解为重叠的原子类型对子图,分别处理共价和几何信息,在多个基准上取得最优性能。
链接:https://arxiv.org/abs/2606.20906
179. Hierarchical Pooling for Sheaf Neural Networks
用于层状神经网络的层次池化
AI 总结:提出HiSP,一种基于局部谱粗化的层状感知池化框架,通过投影细层状值特征到簇内层状拉普拉斯算子的低频本征模来构建粗层,并分析粗化引起的近似误差。
链接:https://arxiv.org/abs/2606.20932
180. A Gated Graph Neural Network Approach to Fast-Convergent Dynamic Average Estimation
一种面向快速收敛动态平均估计的门控图神经网络方法
AI 总结:提出基于门控图神经网络的分布式动态平均估计方法,通过建模为分布式自回归器实现快速收敛,并引入正则化和编解码机制提升性能。
链接:https://arxiv.org/abs/2606.20955
181. Structure-Aware Graph Multi-Task Learning for Dynamic Sparse OD Demand Prediction
面向动态稀疏OD需求预测的结构感知图多任务学习
AI 总结:提出SAGMTL框架,通过结构状态建模与流量强度估计的多任务分解,结合节点-边协同表示学习,有效预测动态稀疏OD需求,在三个城市数据集上优于现有方法。
链接:https://arxiv.org/abs/2606.21022
182. SLeDGe: Semi-Supervised Learning on Data Streams with Graph Structure Learning
SLeDGe: 基于图结构学习的数据流半监督学习
AI 总结:提出SLeDGe方法,通过联合学习预测模型和自适应图结构,在严格内存和标签约束下实现数据流半监督学习,在12个数据集上平均相对准确率提升31.7%(0.1%标签)和14.8%(1%标签)。
链接:https://arxiv.org/abs/2606.21096
183. Ramanujan Graph Rewiring with Non Negative Resistance Curvature
基于非负电阻曲率的拉马努金图重连
AI 总结:提出拉马努金传播策略,通过重连图结构缓解图神经网络中的过挤压问题,利用拉马努金图保证非负电阻曲率,促进信息高效流动,实验优于九种现有方法。
链接:https://arxiv.org/abs/2606.21333
184. Universal Encoders for Modular Relational Deep Learning
用于模块化关系深度学习的通用编码器
AI 总结:提出通用行编码器,通过解耦行编码与图消息传递,结合元数据和全局统计的Transformer模块,实现跨数据库知识迁移,提升RelBench基准上的学习收敛性和内存效率。
链接:https://arxiv.org/abs/2606.21434
185. A Framework for Directed Acyclic Hypergraph Learning
有向无环超图学习框架
AI 总结:提出从观测数据学习有向无环超图(DAHG)的框架,通过张量t-积的幂零性刻画无环性,并利用可微无环约束实现最小二乘学习,捕捉成对模型无法表示的联合父节点影响。
链接:https://arxiv.org/abs/2606.21668
186. DevoTG: Temporal Graph Neural Networks for Modeling C. elegans Developmental Connectomics
DevoTG:用于建模秀丽隐杆线虫发育连接组的时间图神经网络
AI 总结:提出DevoTG框架,利用时间图神经网络(TGN)对线虫神经发育的细胞谱系和突触连接组进行建模,在谱系预测任务中AUC达0.839,优于静态GNN 26个点,并识别出三类连接稳定性。
链接:https://arxiv.org/abs/2606.21940
187. A Completion-Aware Framework for Impactful Counterfactual Explainability in Graph Neural Networks
一种面向图神经网络中具有影响力的反事实可解释性的完成感知框架
AI 总结:提出一种通用的、模型无关的局部反事实解释框架,通过结合事实可解释性与缺失边预测模型,提升图神经网络解释的质量、鲁棒性和直观性。
链接:https://arxiv.org/abs/2606.22033
188. Enhancing LLMs for Graph Tasks via Graph-aware LoRA Generation
通过图感知的LoRA生成增强LLMs的图任务能力
AI 总结:提出GaRA模型,通过生成任务特定的低秩权重更新注入全图信息,避免信息损失,在零样本图学习任务上优于基线方法。
链接:https://arxiv.org/abs/2606.22429
189. Adaptive Recurrent Message Passing for Test Time Computing on Graphs
自适应递归消息传递用于图上的测试时计算
AI 总结:针对图数据与固定架构不匹配的问题,提出自适应递归图模型AdaR,通过理论推导步依赖作为自适应收敛的充要条件,并利用归一化步信息和梯度监督实现灵活测试时计算,在归纳和直推设置中优于强基线。
链接:https://arxiv.org/abs/2606.22462
190. GRADE: Graph Representation of LLM Agent Dependency and Execution
GRADE: LLM智能体依赖与执行的图表示
AI 总结:提出GRADE,将LLM智能体的运行建模为具有执行边和依赖边的图,依赖边通过分级推断,在多个数据集上优于运行规模指标,并可用于故障定位。
链接:https://arxiv.org/abs/2606.22741
191. Learning Graphs through Continuous Information Entropy Fields
通过连续信息熵场学习图
AI 总结:提出场信息图网络(FGN),从节点特征学习连续标量场以调控消息传递,通过信息论目标平衡结构保真度与场平滑性,实现图与场的协同演化,在节点和图分类任务上表现优异。
链接:https://arxiv.org/abs/2606.22895
192. PromptDyG: Test-Time Prompt Adaptation on Dynamic Graphs
PromptDyG:动态图上的测试时提示自适应
AI 总结:提出PromptDyG框架,通过无监督测试时提示自适应在冻结骨干网络上最小化特征熵,在线建模动态图演化模式,理论保证正负样本对相似度间隔增大,实验在6个基准数据集上显著优于基线。
链接:https://arxiv.org/abs/2606.22914
193. TaLK: Text-attributed Graph Dataset Distillation via Coupling Language Model with Graph-Aware Kernel
TaLK: 通过耦合语言模型与图感知核的文本属性图数据集蒸馏
AI 总结:提出TaLK方法,通过耦合语言模型与图感知神经切线核实现文本属性图的高效数据集蒸馏,避免重复联合训练,仅用1%合成数据即可达到97%的全数据集性能。
链接:https://arxiv.org/abs/2606.22975
194. Bridge the Gaps: Heterogeneous Attributed Graph Clustering via Quaternion Representation Learning
弥合差距:基于四元数表示学习的异质属性图聚类
AI 总结:提出AGREE框架,通过多级对齐和基于相似度的图构建统一处理数值和类别属性,利用四元数图卷积缓解过度主导和过度平滑问题,实现无需预定义聚类数的端到端聚类。
链接:https://arxiv.org/abs/2606.23199
195. Collapsed Effective Operators for Higher-order Structures
高阶结构的塌缩有效算子
AI 总结:提出通过Schur补将高阶拉普拉斯算子塌缩为顶点级算子,保留正半定性并降低系统能量,在谱聚类、信号平滑和神经网络位置编码中提升性能。
链接:https://arxiv.org/abs/2606.23517
196. A Spectral Theory of Normalized Corrected GNN Propagation
归一化校正GNN传播的谱理论
AI 总结:提出归一化校正GNN传播的谱理论,证明在密集多对数条件下经过O(log n)层传播后能精确恢复节点类别,并给出多类部分恢复定理。
链接:https://arxiv.org/abs/2606.23572
10. 迁移、元学习与持续学习 | 7 篇
197. Temporal Causal Prior-Data Fitted Networks for Panel Data with Learned Reliability Signals
面向面板数据的时间因果先验数据拟合网络及其学习到的可靠性信号
AI 总结:提出TCPFN,一种零样本时间因果发现基础模型,通过因果判断头联合预测多种因果属性,结合混合训练先验和离散令牌面板数据架构,实现工业规模推理,在多个基准上达到竞争性性能。
链接:https://arxiv.org/abs/2606.20889
198. Gradient-Free Warm-Start Library Recovery: an Amortized-Regret Separation
无梯度热启动库恢复:一种摊销后悔分离
AI 总结:针对梯度自由、局部、在线且仅追加的持续学习,提出热启动库学习方法,在周期性流中实现与维度无关的识别成本,证明与无记忆估计器相比具有维度依赖的摊销优势。
链接:https://arxiv.org/abs/2606.21253
199. Task-Differentiated Atomic Skill Expansion and Routing for Continual Learning Across Highly Heterogeneous Tasks
任务差异化原子技能扩展与路由用于高度异构任务的持续学习
AI 总结:提出TASER框架,通过原子技能增量学习、正交增强技能检测和动态路由机制,解决高度异构任务持续学习中的灾难性遗忘和容量分配问题。
链接:https://arxiv.org/abs/2606.21307
200. One Size does not Fit All: Heterogeneous Latent Space Alignment for Unsupervised Domain Adaptation
一种尺寸并不适合所有情况:无监督域适应的异构潜在空间对齐
AI 总结:提出ADualVUOT框架,结合双编码器VAE与连续归一化流增强潜在表达,利用非平衡最优传输(GGW距离)对齐域,并引入对抗增强提升鲁棒性,在医学图像分割中优于现有方法。
链接:https://arxiv.org/abs/2606.21415
201. Concept-Constrained Prompt Learning for Few-Shot CLIP Adaptation
概念约束的提示学习用于少样本CLIP适应
AI 总结:提出概念约束提示学习(CCPL),通过轻量级正则化框架将可学习类提示锚定到冻结的概念级文本原型,提升少样本CLIP的基类到新类泛化能力。
链接:https://arxiv.org/abs/2606.22567
202. Temporal-Spectral Alignment with Frequency Adaptation for Source-Free Time-Series Adaptation
面向无源时间序列自适应的时频对齐与频率适应方法
AI 总结:提出SAFA方法,通过多尺度时频建模和可训练频率适应模块,对齐目标域与源域的频谱特征,解决无源域适应中的特征偏移和时间漂移问题。
链接:https://arxiv.org/abs/2606.23120
203. Selective Time Series Forecasting via Metalearning
通过元学习进行选择性时间序列预测
AI 总结:提出基于元学习的框架,利用滞后结构特征建模误差百分位数,实现跨域选择性预测,在域内和迁移学习中提升预测精度。
链接:https://arxiv.org/abs/2606.23448
11. 数据集、基准与评测 | 22 篇
204. ELADO: Elliptic PDE Assessment Datasets for Operator Learning
ELADO: 椭圆型PDE算子学习的评估数据集
AI 总结:提出ELADO基准套件,通过构造泊松方程和亥姆霍兹方程的非均匀系数数据集,揭示神经算子在学习椭圆PDE解算子时的重尾分布、谱偏移和输入敏感性等失效模式。
链接:https://arxiv.org/abs/2606.20771
205. CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes
CELEUS: 基于E-Process的可认证且高效的大语言模型评估
AI 总结:提出Celeus框架,利用E-process构建任意有效的置信区间,通过不确定性引导采样和代理辅助近似减少评估样本,实现高效且统计严谨的LLM评估。
链接:https://arxiv.org/abs/2606.20820
206. Is Our Benchmark Enough? An Analysis of Continual Learning for MLLMs
我们的基准测试足够吗?多模态大语言模型持续学习分析
AI 总结:本文质疑MR-LoRA方法对MLLM路由器的依赖,提出无训练无重放的简单原型路由方法RePRo,并指出共享专家无益,揭示MLLM-CL基准的任务高度可分离和固定顺序导致评估偏差,从而提出新基准设计。
链接:https://arxiv.org/abs/2606.20961
207. Chem2Gen-Bench: Benchmarking Chemical-to-Genetic Translation in Perturbation Response Space
Chem2Gen-Bench:在扰动响应空间中评估化学到遗传的翻译
AI 总结:提出Chem2Gen-Bench基准,包含26万化学和110万遗传扰动谱,评估化学与遗传扰动在共享靶点下的对齐与翻译保真度,发现背景调整可提高相似性但降低检索成功率,基础模型嵌入未一致优于基线。
链接:https://arxiv.org/abs/2606.21109
208. DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams
DataClaw0: 从原始流中智能定制多模态数据
AI 总结:提出DataClaw0模型,通过两阶段流水线将生成语义合成锚定于确定性事实锚点,结合SFT与GRPO实现复杂数据精炼意图的对齐,首个数据精炼基准验证其高效性。
链接:https://arxiv.org/abs/2606.21337
209. When Is an LLM Worth It for Hyperparameter Optimization? A Budget-Matched Study on Tabular Data Finds the Warm-Start Is a Default Configuration, Not the Model
LLM何时值得用于超参数优化?基于表格数据的预算匹配研究发现热启动是默认配置,而非模型
AI 总结:通过预算匹配的多种子实验,发现LLM作为HPO顾问的初始强点来自固定默认配置,其自身提议仅带来微小提升,被经典搜索方法在少量评估内超越。
链接:https://arxiv.org/abs/2606.21641
210. A Causal DAG Prior for Synthetic Time-Series Classification Datasets
用于合成时间序列分类数据集的因果DAG先验
AI 总结:提出一种因果DAG先验,从随机采样的有向无环图生成多变量、多类别的时间序列分类数据集,包含跨模态因果结构,微调TabPFN v2.5后在UCR/UEA数据集上显著优于基线。
链接:https://arxiv.org/abs/2606.21776
211. RocketPFN: Accurate Time Series Classification via In-Context Learning
RocketPFN:通过上下文学习实现精确时间序列分类
AI 总结:提出RocketPFN,结合随机卷积特征提取与预训练表格基础模型的上下文分类,在92个UCR数据集上达到与最强方法HC2相当的精度,无需目标数据训练。
链接:https://arxiv.org/abs/2606.21786
212. Mat-Pref: Verifiable-Reward Training Improves Compositional Reasoning in Inorganic Materials
Mat-Pref: 可验证奖励训练提升无机材料中的组合推理能力
AI 总结:提出Mat-Pref基准,通过可验证奖励强化学习(GRPO)提升无机材料组合推理,在结构泛化和属性迁移上超越大模型。
链接:https://arxiv.org/abs/2606.21830
213. Data Pruning: Redundant, Problematic, and Interdependent Samples
数据剪枝:冗余、有问题的样本与样本间的相互依赖
AI 总结:本文研究数据剪枝方法在噪声条件下的失效原因,发现冗余、有问题的样本和样本间相互依赖是影响剪枝成功的关键因素,并在多个基准数据集和网络架构上验证了观察的一致性。
链接:https://arxiv.org/abs/2606.21916
214. Cluster-Specific Localized Drift Detection for Efficient Batch Model Adaptation under Controlled Distribution Shift
受控分布漂移下用于高效批量模型适应的聚类特定局部漂移检测
AI 总结:提出聚类诱导分布漂移模拟框架,将静态表格数据转换为受控演化数据流,并系统评估六种适应策略,实验覆盖多种模型和任务。
链接:https://arxiv.org/abs/2606.22026
215. Gradient-Descent Steps to Success over Mean Accuracy: A Paradigm Shift for ML
梯度下降步数胜过平均准确率:机器学习的范式转变
AI 总结:提出以梯度下降步数作为机器学习模型性能评估指标,发现大学习率可最小化期望计算代价,并揭示最优搜索策略的相变现象。
链接:https://arxiv.org/abs/2606.22053
216. Bayesian Adaptation Gym: A Benchmark for the Bayesian Low-Rank Adaptation of Multi-Modal Language Models
贝叶斯适应健身房:多模态语言模型贝叶斯低秩适应的基准
AI 总结:提出贝叶斯适应健身房(BAG)基准,用于评估多模态语言模型的贝叶斯低秩适应方法,涵盖校准、分布偏移鲁棒性和主动学习下的不确定性决策。
链接:https://arxiv.org/abs/2606.22188
217. Statistical Matching via Schrödinger Bridge beyond Conditional Independence
超越条件独立性的Schrödinger桥统计匹配
AI 总结:提出依赖感知的Schrödinger桥方法,通过倾斜保守的条件独立性基线并引入基于传输的兼容性成本,捕获Y-Z依赖关系,实现预测性统计匹配,理论保证严格改进,实验验证下游预测效用提升。
链接:https://arxiv.org/abs/2606.22770
218. When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents
当AUC 0.998还不够:多模态计算机使用智能体中隐藏状态探针对间接提示注入的候选评估协议
AI 总结:本文通过单骨干案例研究,论证高AUC不能直接证明恶意内容检测,提出后验诊断和候选控制集来明确探针能力的边界。
链接:https://arxiv.org/abs/2606.22864
219. EEG Benchmarking Needs a Task Specification Layer: NeuroDoc for Rulebook-Guided, Executable Benchmark Construction
EEG基准测试需要一个任务规范层:NeuroDoc用于基于规则手册的可执行基准构建
AI 总结:提出NeuroDoc框架,通过结构化任务规范语言和共享规则手册,将异构EEG数据集标准化为可重用基准单元,并发布包含53个条目、245个任务定义的社区审查基准语料库。
链接:https://arxiv.org/abs/2606.22925
220. Weighted Score-Oriented Losses for Temporally Localized Event Prediction
面向时间局部化事件预测的加权评分导向损失
AI 总结:针对事件预测中评分与损失不匹配问题,提出加权评分导向损失(wSOL),通过时间权重区分近事件误报和可接受警报,优化基于混淆矩阵的指标,在三个基准数据集上提升时间局部化评估性能。
链接:https://arxiv.org/abs/2606.23145
221. Substitution-Based Analysis of Structural Novelty for Generative Models of Materials
基于替换分析的材料生成模型结构新颖性评估
AI 总结:针对无机晶体生成AI模型,提出工作流区分生成晶体是否为训练重复、元素替换产物或全新结构,发现81-92%的生成晶体为重复或替换结构,高对称性系统尤其明显,低对称性新结构可解释为数据丰富区域的插值。
链接:https://arxiv.org/abs/2606.23166
222. Do Location Encoders Capture Spatial Effects? A GeoShapley Benchmark Across Scales
位置编码器能否捕捉空间效应?跨尺度的GeoShapley基准测试
AI 总结:通过GeoShapley解释器,评估11种位置编码器在不同尺度下从嵌入中恢复空间变化系数的能力,发现主系数恢复稳定,次系数依赖尺度,原始坐标基线始终有竞争力。
链接:https://arxiv.org/abs/2606.23453
223. TROPT: An Open Framework for Unifying and Advancing Discrete Text Optimization
TROPT:统一和推进离散文本优化的开放框架
AI 总结:提出TROPT,首个统一离散优化器执行与开发的开源框架,支持30+优化方案,降低应用门槛并促进新策略研究。
链接:https://arxiv.org/abs/2606.23496
224. Quantifying the Agreement Between Data-Influence and Data-Similarity to Understand LLM Behavior
量化数据影响与数据相似性之间的一致性以理解LLM行为
AI 总结:通过排序重叠量化数据相似性与数据影响在输出追踪中的一致性和不对称性,并利用不对称性实现成本-精度权衡。
链接:https://arxiv.org/abs/2606.23591
225. MAS-PromptBench: When Does Prompt Optimization Improve Multi-Agent LLM Systems?
MAS-PromptBench:提示优化何时能提升多智能体LLM系统?
AI 总结:系统研究提示优化在多智能体LLM系统中的效果,发现其能显著提升性能,但收益依赖于任务、工作流和团队规模等配置。
链接:https://arxiv.org/abs/2606.23664
12. 机器学习应用 | 50 篇
226. Evidential Fusion Network for Multimodal Survival Prediction under Missing Modalities
缺失模态下的多模态生存预测证据融合网络
AI 总结:提出EMMS模型,利用Dempster-Shafer理论和高斯随机模糊数融合多模态决策,处理缺失模态下的生存预测,无需生成缺失数据,在四个癌症数据集上达到最优性能并提供校准的不确定性估计。
链接:https://arxiv.org/abs/2606.20757
227. B[FM]$^2$: Brain Foundation Model via Flow Matching with SplitUNet
B[FM]$^2$: 基于流匹配与SplitUNet的脑基础模型
AI 总结:提出B[FM]$^2$,通过连续时间流匹配直接在原始EEG信号上预训练,避免离散化带来的时间动态损失,并设计SplitUNet网络处理时间-电极不对称性,在9个下游任务中7个达到最优,预训练数据量减少约30倍。
链接:https://arxiv.org/abs/2606.20812
228. Machine Learning Classification of Cryopathy Syndromes: A Comprehensive Comparative Study
冷球蛋白血症综合征的机器学习分类:一项全面的比较研究
AI 总结:针对冷球蛋白血症综合征分类中实验室模式重叠和罕见诊断的挑战,本研究比较了12种机器学习方法,发现随机森林与梯度提升树的软投票集成在多分类中表现最佳,树模型优于神经网络,且基于冷球蛋白的交互特征提升了判别能力。
链接:https://arxiv.org/abs/2606.20874
229. Physics-Guided Dual-Stream Heterogeneous Graph Neural Network for Predicting Full-Field Structural Response of Stiffened Panels
物理引导的双流异构图神经网络用于预测加筋板的全场结构响应
AI 总结:提出双流异构图神经网络(DS-HGNN),通过物理引导的边状态和双流消息传递,高效预测加筋板的全场应力和位移,在精度和样本效率上优于现有模型。
链接:https://arxiv.org/abs/2606.20916
230. Short-Term Electricity Demand Forecasting for New England Using a Hybrid Transformer-XGBoost Framework with Weather, Calendar, and COVID-19 Indicators
基于混合Transformer-XGBoost框架的新英格兰短期电力需求预测:融合天气、日历和COVID-19指标
AI 总结:提出混合Transformer-XGBoost框架,集成天气、日历和COVID-19变量,用于新英格兰短期电力需求预测,测试RMSE为8876 MWh,MAPE为2.05%,并发现COVID-19特征在疫情后成为噪声。
链接:https://arxiv.org/abs/2606.20918
231. Right Knowledge, Wrong Answer: Test-Time Steering for Temporal Fact Conflicts in Open-Weight Language Models
正确知识,错误答案:开放权重语言模型中时间事实冲突的测试时引导
AI 总结:针对开放权重语言模型中参数化时间冲突问题,提出无需重训练或外部检索的三阶段测试时干预方法TAS,通过单层激活修补实现0.72-0.85的答案翻转率,并保持非冲突查询85-99%的准确率。
链接:https://arxiv.org/abs/2606.20959
232. Detecting Satellites in Radio-Frequency Data via Semi-Supervised Learning
通过半监督学习检测射频数据中的卫星
AI 总结:提出结合非负矩阵分解与自动模型确定(NMFk)、专家引导聚类解释和分类器预测的半监督工作流,用于卫星监测中的射频检测与分类,减少对大量标注数据的依赖。
链接:https://arxiv.org/abs/2606.20976
233. Physics-Guided Fully Convolutional Spatiotemporal Learning Toward Digital-Twin-Enabled Microstructure Evolution Prediction
物理引导的全卷积时空学习:面向数字孪生驱动的微观结构演化预测
AI 总结:提出物理引导的全卷积时空学习框架,通过将控制物理方程纳入训练目标,提升微观结构演化预测的物理一致性和长期稳定性,优于纯数据驱动方法。
链接:https://arxiv.org/abs/2606.20983
234. Continuous-Time Probabilistic Correctors for Uncertainty-Aware Physics-Based Spacecraft Trajectory Forecasting
连续时间概率校正器用于基于物理的航天器轨迹不确定性感知预测
AI 总结:提出一种预测-校正框架,用连续时间概率校正器增强确定性物理传播器,实现长期轨迹预测的准确性和校准不确定性估计。
链接:https://arxiv.org/abs/2606.21021
235. BASIL: Bayesian Application for Scientific Iteration and Learning
BASIL: 用于科学迭代与学习的贝叶斯应用程序
AI 总结:提出BASIL桌面应用,采用贝叶斯方法和特殊采集函数解决单/多目标优化问题,提供图形界面输入参数和目标,构建代理模型引导优化过程。
链接:https://arxiv.org/abs/2606.21092
236. Rejections Based on Predictive Uncertainty Enable Reliable Routine Soil Spectroscopy
基于预测不确定性的拒绝机制实现可靠的常规土壤光谱学
AI 总结:提出“拒绝-重测”框架,结合概率建模与不确定性引导的拒绝,在保证准确性的同时降低土壤光谱测量成本。
链接:https://arxiv.org/abs/2606.21179
237. Comparative Evaluation of Machine Learning and Deep Learning Models for Wound-Rotor Synchronous Motor Performance Prediction
机器学习和深度学习模型在绕线转子同步电机性能预测中的比较评估
AI 总结:本研究系统比较了八种机器学习和深度学习模型在绕线转子同步电机扭矩和效率预测上的表现,发现基于神经网络的模型优于基于树的模型,其中FT-Transformer模型以R²=0.9928达到最高精度,且预测速度比有限元分析快数个数量级。
链接:https://arxiv.org/abs/2606.21230
238. MedTS-TTT: Test-Time Training for Medical Time Series Classification
MedTS-TTT:医学时间序列分类的测试时训练
AI 总结:提出MedTS-TTT框架,通过闭环自对齐测试时训练和门控卷积骨干网络,实现无需迭代内循环优化的快速样本自适应,在4个公开数据集上取得11/12的top-1排名。
链接:https://arxiv.org/abs/2606.21329
239. Urban Power Grid Topology and Hierarchy Identification from Open Data
基于开放数据的城市电网拓扑与层次识别
AI 总结:提出开放数据驱动框架,融合基础设施数据与地理空间机器学习,从高压输电到建筑连接完整识别城市电网拓扑,并在挪威奥斯陆Alna区验证,连接7330栋建筑。
链接:https://arxiv.org/abs/2606.21352
240. Predictive Repair Management Using a Multi-Head Attention Transformer and Online Learning
基于多头注意力Transformer和在线学习的预测性维修管理
AI 总结:提出一种结合多头注意力网络和在线学习的深度学习框架,用于预测维修时长,在汽车维修数据集上达到78%准确率。
链接:https://arxiv.org/abs/2606.21364
241. Enhancing Creativity in 3D Generative Design via a TRIZ-Inspired Text-to-CAD Framework
通过TRIZ启发的文本到CAD框架增强3D生成设计的创造力
AI 总结:提出TRIZ启发的文本到CAD框架,利用LLM生成可编辑CAD模型并系统探索创新设计方案,通过三阶段流程实现结构多样性与质量优化,案例显示质量减少4.0-14.7%。
链接:https://arxiv.org/abs/2606.21378
242. Deep Learning for Soil Moisture Estimation: Fusing Satellite Data with Optimally-Lagged Meteorological Features
深度学习用于土壤湿度估计:融合卫星数据与最优滞后气象特征
AI 总结:提出交叉相关函数方法确定气象变量与土壤湿度的最优时间滞后,结合卫星、气象和深度数据,利用CNN、LSTM及CNN-LSTM混合模型,在半干旱农业区实现高精度土壤湿度估计。
链接:https://arxiv.org/abs/2606.21475
243. Predicting High-Risk Colorectal Polyps in African Americans Using Pre-Colonoscopy Clinical Features: Machine Learning Model Development and Temporal Validation
利用结肠镜检查前临床特征预测非裔美国人的高危结直肠息肉:机器学习模型开发与时间验证
AI 总结:本研究利用非侵入性、结肠镜检查前的临床特征,开发并外部验证了机器学习模型,以预测非裔美国人队列中的高危结直肠息肉,旨在优化资源分配并促进公平的风险分层。
链接:https://arxiv.org/abs/2606.21492
244. Embedding Linear Equality Constraints in Probabilistic Neural Networks for Dynamic Modelling
在概率神经网络中嵌入线性等式约束用于动态建模
AI 总结:提出一种概率神经网络框架,在给定容差内保证线性等式约束满足并捕捉偶然不确定性,在减少数据时提升预测精度和约束遵守,在大数据时训练更快。
链接:https://arxiv.org/abs/2606.21728
245. What Do Lorentz-Equivariant Jet Taggers Learn?
洛伦兹等变喷注标记器学到了什么?
AI 总结:通过等变测试、线性探针和分级消融研究五种洛伦兹等变喷注标记器的内部学习机制,发现等变模型抑制赝快度而编码喷注质量和N-subjettiness,双向量通道对顶夸克标记不重要而类矢量通道主导但种子可变。
链接:https://arxiv.org/abs/2606.21790
246. Causal Gaussian Processes for Robust Treatment Effect Evaluation with Unobserved Confounding
因果高斯过程用于存在未观测混杂的鲁棒处理效应评估
AI 总结:针对连续域上存在未观测混杂的因果效应评估问题,提出一种基于外生域离散化的因果高斯过程模型,可任意逼近任意因果模型的观测和干预分布。
链接:https://arxiv.org/abs/2606.21809
247. Local Causal Attribution of Chain-of-Thought Reasoning
链式思维推理的局部因果归因
AI 总结:提出AttriCoT算法,通过结构因果模型对链式思维推理中的单元进行局部因果归因,仅需O(U)次前向传播即可获得忠实于模型行为的归因结果。
链接:https://arxiv.org/abs/2606.21821
248. Protein contacts are already in the attention: a single-forward-pass alternative to the Categorical Jacobian
蛋白质接触已经存在于注意力中:分类雅可比矩阵的单次前向替代方案
AI 总结:提出通过选择少量注意力头(仅需10个标记蛋白质)平均即可在一次前向传播中恢复蛋白质接触,在无泄漏数据上优于分类雅可比矩阵,并发现该信号依赖于双向预训练。
链接:https://arxiv.org/abs/2606.21876
249. Cohort-Anchored Foundation Models for Electronic Health Records: From Risk Scores to Auditable Peer Cohorts
基于队列锚定的电子健康记录基础模型:从风险评分到可审计的同行队列
AI 总结:提出CAFM框架,将患者队列作为一等对象融入学习流程,通过四个阶段提升数据质量、组织表示并支持可审计决策,以解决基础模型在临床部署中的可解释性、分布偏移和临床对齐问题。
链接:https://arxiv.org/abs/2606.21885
250. AgroSense 2.0: Cross-Modal Transformer Fusion with Geospatial Raster Integration and Interpretable Multi-Task Learning for Precision Crop Recommendation
AgroSense 2.0:基于跨模态Transformer融合、地理空间栅格集成与可解释多任务学习的精准作物推荐
AI 总结:提出AgroSense 2.0,通过跨模态Transformer融合、地理空间栅格集成和多任务学习,解决精准农业中作物推荐系统的模态鸿沟问题,实现可解释的作物推荐。
链接:https://arxiv.org/abs/2606.21892
251. A Standard Processing Pipeline for High-accuracy Measurement of Few-shot Regression on Laser Induced Breakdown Spectroscopy
激光诱导击穿光谱小样本回归高精度测量的标准处理流程
AI 总结:提出集成扩散去噪、注意力自编码器降维、组混洗数据增强和普通最小二乘回归的标准流程,在LIBS小样本回归中实现平均RMAE 0.2847,较基线提升37.7%。
链接:https://arxiv.org/abs/2606.21960
252. VegSim: A Geospatial World Model for Scenario-Conditioned Vegetation Simulation
VegSim:一种用于情景条件植被模拟的地理空间世界模型
AI 总结:提出VegSim,一种地理空间世界模型,通过可控制的未来气象输入,实现情景条件植被模拟,在分布内和分布外数据上均优于基线模型。
链接:https://arxiv.org/abs/2606.21961
253. Load Testing for Machine Learning Model Serving Systems at Scale
大规模机器学习模型服务系统的负载测试
AI 总结:提出自适应反馈驱动的负载测试框架Sys,通过实时性能信号和收敛检测,在SLO约束下高效识别最大可持续吞吐量,显著提升GPU资源效率并减少服务事故。
链接:https://arxiv.org/abs/2606.22013
254. OphthaDT: Generative Digital Twins for Forecasting Visual Acuity Trajectories in Ophthalmology
OphthaDT:用于眼科视力轨迹预测的生成式数字孪生
AI 总结:提出基于LLM的数字孪生OphthaDT,通过序列化纵向患者历史预测最佳矫正视力,在nAMD和DME数据集上分别降低MAE 6.0%和2.6-6.9%,尤其擅长处理高变异性轨迹。
链接:https://arxiv.org/abs/2606.22101
255. Beyond Time Series: Spatial Reasoning for Epidemic Forecasting via Multimodal Learning
超越时间序列:基于多模态学习的空间推理用于流行病预测
AI 总结:提出M-SPICE框架,通过注意力机制融合区域级时序数据与空间辅助信号,在COVID-19、流感和ILI预测任务上超越现有基线。
链接:https://arxiv.org/abs/2606.22171
256. Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias
神经共轭聚合:异构传感器偏差下可识别的无监督多传感器回归
AI 总结:提出神经共轭聚合模型(NCAM),一种结合神经网络与共轭高斯推理的无监督多源融合框架,通过传感器锚定和方差正则化解决非可识别性,并集成自适应蒙特卡洛共形预测提供有限样本保证。
链接:https://arxiv.org/abs/2606.22200
257. Evolving Spatial Weights for Cartographic Synthesis
用于地图综合的空间权重演化
AI 总结:提出GIS-moGA双目标进化框架,通过最大化全局空间自相关和最小化局部空间异质性来估计图层权重,利用皇后邻接矩阵的稀疏性实现可扩展分析,在巴西阿拉拉夸拉数据集上优于专家方法。
链接:https://arxiv.org/abs/2606.22252
258. From Handcrafted Features to Functional Edge Learning: Evolution of EEG Seizure Detection Frameworks
从手工特征到功能边学习:EEG癫痫检测框架的演变
AI 总结:本文综述了深度学习在EEG癫痫检测中的局限性,并引入KAN网络作为替代方案,通过可学习的边函数提升可解释性、参数效率和数据稀缺下的鲁棒性。
链接:https://arxiv.org/abs/2606.22258
259. Federated Learning for Global Carbon Emission Forecasting: A Hybrid Time-Series Approach with Statistical and Neural Models
联邦学习用于全球碳排放预测:一种结合统计与神经模型的混合时间序列方法
AI 总结:提出联邦混合预测框架,集成ARIMA、GARCH、LSTM-Attention和XGBoost,在保护隐私下实现分布式碳排放预测,在14个客户上平均R²为0.73。
链接:https://arxiv.org/abs/2606.22618
260. Foundation Models for Epileptogenic Zone Identification in Drug-Resistant Epilepsy
药物难治性癫痫中致痫区识别的基础模型
AI 总结:提出EpiiSLM双基础模型系统,通过信号基础模型和语言基础模型整合sEEG与临床信息,在接触级PPV上超越传统方法15.1%,仅需一夜发作间期睡眠数据。
链接:https://arxiv.org/abs/2606.22657
261. LSTM Variants for Chaotic Dynamical Systems: An Empirical Study on the Lorenz Attractor
混沌动力系统的LSTM变体:关于洛伦兹吸引子的实证研究
AI 总结:针对洛伦兹吸引子等混沌系统预测难题,比较七种循环与卷积架构,发现Huber损失训练的BiLSTM最优,注意力机制和CNN前端反而降低性能。
链接:https://arxiv.org/abs/2606.22662
262. Noise is Signal: Density-Based Outliers as Leading Indicators of Occupational Emergence in Labor Market Text
噪声即信号:基于密度的异常值作为劳动力市场文本中职业涌现的领先指标
AI 总结:本文提出涌现-密度反转假设,证明低密度异常值预示新职业涌现,通过时序分析验证并改进涌现职业评分,预测准确率从F1=0.61提升至0.74。
链接:https://arxiv.org/abs/2606.22769
263. GeoRouteNet: Geometry-Enhanced Non-Autoregressive Neural Solver for the Traveling Salesman Problem
GeoRouteNet:面向旅行商问题的几何增强非自回归神经求解器
AI 总结:提出GeoRouteNet,通过几何增强编码和多候选自比较强化学习,在TSP问题上实现跨尺度泛化,TSP50最优性差距0.32%,TSP100为1.26%,TSPLIB实例差距降至3.60%。
链接:https://arxiv.org/abs/2606.22776
264. Explainable AI for Mental Health Prediction in Drug-Affected Populations with Dragonfly Algorithm and GAN Oversampling
基于蜻蜓算法和GAN过采样的药物影响人群心理健康预测的可解释AI
AI 总结:提出结合PCA-IG特征选择、GAN过采样和蜻蜓算法优化XGBoost的可解释机器学习模型,用于药物影响人群的多类心理健康预测,准确率达94.17%。
链接:https://arxiv.org/abs/2606.22780
265. Retrieval-Augmented Multimodal Learning for Enzyme-Substrate Interaction Prediction Under Low-Homology Shift
检索增强的多模态学习用于低同源性偏移下的酶-底物相互作用预测
AI 总结:提出RAMMESI框架,通过跨模态交互建模、自适应融合和检索增强,解决酶-底物相互作用预测中稀疏正监督和低同源性分布偏移问题,在低序列一致性场景下表现优异。
链接:https://arxiv.org/abs/2606.22823
266. BranchShine: Compact Raw-Audio-to-IPA Transcription with a RoPE E-Branchformer Encoder
BranchShine: 使用RoPE E-Branchformer编码器的紧凑型原始音频到IPA转录
AI 总结:提出33M参数的BranchShine模型,采用轻量卷积前端和19块RoPE E-Branchformer编码器,在41语言测试集上达到9.19% IPA字符错误率,接近575M参数的PhoneticXEUS基线。
链接:https://arxiv.org/abs/2606.22824
267. Discovering Crystal Structure Prediction Algorithms with an AI Co-Scientist
利用AI合作科学家发现晶体结构预测算法
AI 总结:提出人机协同发现系统HACO,通过跨域搜索和稀疏人类引导,从视觉领域引入掩码生成模型MaskGIT用于晶体结构预测,并改进为MaskGXT,在多个基准上取得最优结果。
链接:https://arxiv.org/abs/2606.22866
268. Physiology-Aware CNN and Zero-Shot Multimodal LLMs for ECG Image Classification: A Comparative Study
生理感知CNN与零样本多模态大语言模型在心电图图像分类中的比较研究
AI 总结:研究比较了零样本多模态大语言模型和生理感知CNN在正常/异常心电图图像分类中的表现,发现CNN模型稳定且准确,而LLM分类接近随机。
链接:https://arxiv.org/abs/2606.22889
269. Topological Out-of-Domain Generalization in Dynamical Systems Reconstruction
动力系统重构中的拓扑域外泛化
AI 总结:针对动力系统重构中域外预测的局限性,通过数学分析识别结构假设与物理系统特性的不匹配,提出特征分裂等改进方法,实现零样本预测新动态 regime。
链接:https://arxiv.org/abs/2606.22969
270. A Novel Approach to Temporal QoS Estimation via Extended Kalman Filter-Incorporated Latent Feature Analysis
一种通过扩展卡尔曼滤波结合潜在特征分析进行时间QoS估计的新方法
AI 总结:针对时间QoS预测中非平稳波动导致精度下降的问题,提出扩展卡尔曼滤波增强的潜在特征分析模型,通过双向模型-数据驱动学习实现高效准确预测,并在真实数据集上优于现有方法。
链接:https://arxiv.org/abs/2606.23010
271. Deep learning-based detection of cessation of breathing in pre-term infants
基于深度学习的早产儿呼吸停止检测
AI 总结:本研究利用深度学习模型,基于阻抗呼吸描记、心电图和光电容积描记信号,检测早产儿呼吸暂停相关呼吸停止事件,发现信号模态比架构复杂度更重要,单模态IP模型性能最优。
链接:https://arxiv.org/abs/2606.23213
272. GRIMIP: A General Framework for Instance-Specific Configuration of MIP Solvers Using LLMs
GRIMIP:一种使用LLM进行MIP求解器实例特定配置的通用框架
AI 总结:提出GRIMIP框架,结合大语言模型的语义推理与贝叶斯优化的高效搜索,为混合整数规划求解器配置超参数,在MIPLIB等基准上实现超过40%的原始对偶积分减少。
链接:https://arxiv.org/abs/2606.23299
273. Physics-Informed Modeling for Wood Thermal Analysis and Prediction
木材热分析与预测的物理信息建模
AI 总结:提出物理信息深度学习框架,集成偏微分方程预测木材像素级热响应,通过软惩罚和硬编码两种方式嵌入物理知识,在三种真实木材数据集上优于纯数据驱动方法。
链接:https://arxiv.org/abs/2606.23402
274. Interpretable Kolmogorov-Arnold Network with Feature-Isolated Temporal Attention Mechanism for Electricity Load Forecasting
可解释的Kolmogorov-Arnold网络与特征隔离时间注意力机制用于电力负荷预测
AI 总结:提出LoadKAN混合框架,结合特征隔离时间注意力与KAN模块,实现电力负荷的可解释预测,在三个美国电力市场数据集上性能与黑箱模型相当,并揭示移动模式与负荷的非线性关系。
链接:https://arxiv.org/abs/2606.23425
275. Simulation-Free Estimation of Traffic Flows from Sparse Count Data
基于稀疏计数数据的交通流无模拟估计
AI 总结:提出一种从稀疏聚合车辆计数中估计时变交通流模式的方法,通过分区、构建可行路径和加权最小二乘优化分配车辆,以低计算成本优于基线方法。
链接:https://arxiv.org/abs/2606.23536
13. 其他/综合机器学习 | 5 篇
276. DCD-PFN: A Decoupling-Aware Foundation Model for Causal Discovery
DCD-PFN:一种面向因果发现的解耦感知基础模型
AI 总结:提出DCD-PFN基础模型,通过预训练学习样本级解耦权重实现马尔可夫边界识别,并利用并行局部发现高效重构全局因果图,在零样本泛化中表现鲁棒。
链接:https://arxiv.org/abs/2606.21212
277. Decodable but Not Faithful: Coupling Natural-Language Rationales to Programmatic Verifiers
可解码但不忠实:将自然语言理由与程序化验证器耦合
AI 总结:提出验证器耦合推理框架,通过一致性训练使验证器信息可从理由表示中解码,但发现可解码性不保证忠实生成,在多个任务中验证了该差距。
链接:https://arxiv.org/abs/2606.21678
278. A Verifiable Search Is Not a Learnable Chain-of-Thought
可验证的搜索不是可学习的思维链
AI 总结:本文通过九个推理任务证明,对于需要搜索的确定性程序,模型无法通过思维链蒸馏学会搜索,只能学会记忆和验证,即使搜索器能解决71%的实例,蒸馏后的思维链准确率仅0.01-0.07。
链接:https://arxiv.org/abs/2606.21884
279. DT-GOL: Dual-Track Geometric Online Learning in Nonstationary Environment with Label Delay
DT-GOL: 非平稳环境下带标签延迟的双轨几何在线学习
AI 总结:提出DT-GOL框架,通过将标签延迟建模为半监督任务,利用特征拓扑演化作为几何代理,并设计动态证据校准机制和双轨架构,解决非平稳环境下的标签延迟问题,实验表明优于现有方法。
链接:https://arxiv.org/abs/2606.22950
280. Position: Correct Answer, Wrong Mechanism -- When AI Scientists Defend General Claims Their Own Data Contradicts
立场:正确答案,错误机制——当AI科学家用自身数据反驳其通用主张时
AI 总结:本文通过编码代理在Geant4模拟中重新发现已知粒子识别可观测量的实验,指出仅以最终结果评估AI科学家系统不足,提出需分别衡量任务结果、机制保真度和认知诚实性,并发现正确答案但错误机制(CAWM)现象。
链接:https://arxiv.org/abs/2606.23175