由于微信公众号开始试行乱序推送，为了让您在第一时间获取AI新文，请将"AI新文"设为星标。
nD-RoPE：用于n维位置嵌入的通用RoPE
原标题：nD-RoPE: A Generalized RoPE for n-Dimensional Position Embedding
作者：Boyang Li; Yulin Wu; Sizhe Xu; Nuoxian Huang; Zhonghang Yuan; Shangyi Guo; Shu Yang; Takahiro Yabe
期刊：arXiv每日人工精选
出版时间：2026/06/10
摘要：旋转变位嵌入（RoPE）在Transformer模型中被广泛采用，但其扩展到高维领域缺乏统一的理论公式化。大多数现有方法要么独立地沿每个轴应用旋转，要么经验性地混合频率，这限制了跨维度交互，并产生了方向依赖的表示。为了解决这些限制，我们提出了nD-RoPE，这是一种无分解的RoPE到任意维度的泛化。从连续希尔伯特空间中的不变量表述中，我们推导出一个谱条件，该条件要求将位置和频率作为耦合维向量处理。我们采用多尺度正则单纯形波矢设计来实现这一表述，这提供了非退化的空间覆盖，并且具有对称的、方向平衡的二阶响应。实验在图像、视频和点云上进行，展示了在高维设置中一致的性能提升和改进的泛化能力。
原文链接
艾奇森单纯形的树状正交分解
原标题：Tree-Structured Orthonormal Decomposition of the Aitchison Simplex
作者：Daisuke Yamada; Qijun Zhang; Travis Pence; Barbara B. Bendlin; Federico Rey; Vikas Singh
期刊：arXiv每日人工精选
出版时间：2026/06/10
摘要：组成数据 -- 表示相对比例的向量 -- 出现在各个科学领域中，包括生态学、地球化学和基因组学。这些数据中的特征通常带有已知的层次结构（例如，分类学，系统发生树，本体论），然而现有的方法要么忽略这种结构，要么放弃内在的Aitchison几何性质，要么是为二叉树设计的，要么产生不完整的坐标系。我们描述了PolyILR，Aitchison切空间的规范正交分解，该分解与任何树形拓扑对齐。我们的构造在每个内部节点定义了一个捕获完整分支结构的加权局部几何，然后将其提升到一个全局正交基中，在这个基中每一个坐标对应于特定的树的位置。在微生物组和单细胞基准测试中，PolyILR产生稳定的、可解释的特征，并能够在多尺度树分辨率上进行推断。我们还建立了一种新颖的理论联系到softmax分类器，建议可能应用于概率模型。
原文链接
从统一图到学习图先验：用于结构发现的扩散方法
原标题：From Uniform to Learned Graph Priors: Diffusion for Structure Discovery
作者：Qi Shao; Hao Guo; Jiawen Chen; Duxin Chen; Wenwu Yu
期刊：arXiv每日人工精选
出版时间：2026/06/10
摘要：神经关系推理（NRI）方法通过在离散潜在边上的变分推理从轨迹中发现交互图。然而，这些方法通常依赖于过于简化的、因子分解的图先验（graph priors）。这样的先验概率通常接近均匀分布，将边缘视为独立的实体。这种系统性错配不符合现实世界中的系统，并导致边缘后验分布模糊且无法决断，从而限制了结构发现的可靠性。为了解决这个问题，我们提出了 extit{Diff-prior}，一种用于校准潜在图分布而非生成图的扩散参数化自适应先验。我们的核心见解是将先前的集成重新构想为一种可学习的去噪风格的校准，它将分散的、不确定的边缘后验组织成一个更可靠的总体结构，该结构可以通过扩散模型进行训练。Diff-prior 学习一种自适应结构先验，在推理过程中对边缘后验执行结构校准，引导其向更接近潜在结构的分布靠拢。差分先验在结构采样之前操作，并直接对编码器边缘分布进行去噪校准，从而为结构变量提供一种通用的训练范式。实验在标准基准上验证了我们的框架，并且结果表明Diff-prior改善了结构推理的性能，并生成了多个NRI家族架构中更具决定性的边后验。代码可在https://github.com/Hardy158118/Diffprior获得。
原文链接
基于预测的风险监控部署模型检测有害分布偏移
原标题：Prediction-Powered Risk Monitoring of Deployed Models for Detecting Harmful Distribution Shifts
作者：Guangyi Zhang; Yunlong Cai; Guanding Yu; Osvaldo Simeone
期刊：arXiv每日人工精选
出版时间：2026/06/10
摘要：我们研究了在动态环境中监测模型性能的问题，在这些环境中标注数据有限。为此，我们提出基于预测驱动推理（PPI）的预测驱动风险监控（PPRM），一种半监督的风险监控方法。PPRM 通过结合合成标签与一组少量的真实标签来构建运行风险的任何时间有效的下限。通过基于阈值的比较来检测有害变化，该比较以名义风险的上限为基准，满足无假设有限样本的一类错误保证。我们通过广泛的实验展示了PPRM在图像分类、大型语言模型（LLM）和电信监控任务中的有效性。
原文链接
随机梯度下降中参数噪声注入的简洁性已足够(Simplicity Suffices for Parameter Noise Injection in Stochastic Gradient Descent)
原标题：Simplicity Suffices for Parameter Noise Injection in Stochastic Gradient Descent
作者：Benjamin Leblanc; Louis-Jacob Lebel; Teddy Kana; Richard Kamel
期刊：arXiv每日人工精选
出版时间：2026/06/10
摘要：向优化过程中注入噪声是提高深度神经网络训练和泛化能力的一种成熟技术。然而，尽管现有方法的范围很广，但仍然不清楚哪些设计选择在实践中真正重要。在这项工作中，我们研究了随机梯度下降中的参数噪声注入，重点关注两个关键问题：如何在小批量训练中高效地将每个训练样本与其自身的扰动配对，以及复杂噪声参数化或多样本梯度平均是否比简单的替代方法产生有意义的收益。为了解决第一个问题，我们利用了线性层的一种分布恒等性，这种恒等性允许在不破坏批量计算的情况下对每个样本注入噪声。为了应对第二个问题，我们系统地比较了几种对角高斯参数化方法与一个各向同性的基准方法，在不同的噪声水平下进行的CIFAR100数据集上。我们的结果一致地表明，简单的轻量级策略，单次更新步骤中带有单一扰动前向传递的各向同性噪声，恢复了更复杂方案的大部分益处。这些发现表明，对于参数噪声注入而言，简单的方法就足够了，并且从业者无需求助于复杂的扰动设计就能获得带有噪声的SGD的优化和泛化的好处。
原文链接
神经元细胞自动机吸引子景观的可视化
原标题：Visualising the Attractor Landscape of Neural Cellular Automata
作者：James Stovold; Mia-Katrin Kvalsund; Harald Michael Ludwig; Varun Sharma; Alexander Mordvintsev
期刊：arXiv每日人工精选
出版时间：2026/06/10
摘要：随着神经细胞自动机（NCAs）在人工生命领域之外的应用越来越多，迫切需要了解它们的行为，并建立适当的途径来解释它们所学到的知识。其本质决定了培训NCAs的好处与不可解释性相平衡：我们可以设计出涌现行为，但对所学到的内容的理解能力有限。在本文中，我们应用了多种技术来揭开NCA黑箱，并获取一些对其所学的理解。我们将流形学习（主成分分析以及密集和稀疏自编码器）和技术拓扑数据分析（持久同调）应用于捕捉NCA的基本行为流形，取得不同程度的成功。结果表明，在宏观层面进行分析（即将整个NCA状态视为单一数据点（taking the entire NCA state as a single data point)），底层流形通常相当简单，并且可以很好地捕获和分析。当分析在微观层面进行（即将单个细胞的状态视为一个数据点(作为一个单一的数据点)), 流形非常复杂, 需要更复杂的技巧才能理解它。
原文链接
AI4SLT：精简版4中的经验过程用于形式统计学习理论
原标题：AI4SLT: Empirical Processes in Lean 4 for Formal Statistical Learning Theory
作者：Yuanhe Zhang; Jason D. Lee; Fanghui Liu
期刊：arXiv每日人工精选
出版时间：2026/06/10
摘要：我们呈现了第一个基于经验过程理论的统计学习理论（SLT）的全面Lean 4形式化。我们的端到端形式基础设施实现了最新Lean库中缺失的内容，包括高斯利普希茨集中性质的完整开发，子高斯过程的德利积分定理以及用于最小二乘（sparse）回归的精确速率的应用。该项目采用了一种人机协作的工作流程，在此过程中人类设计证明策略，AI代理执行战术性证明构造，最终形成了供人类验证的Lean 4工具箱（SLT）。超出实现之外，形式化过程揭示并解决了标准SLT教材中的隐含假设和缺失细节，强制要求对理论进行细粒度的逐行理解。这项工作建立了一个可重复使用的正式基础，并为机器学习理论的未来发展打开了大门。代码提供在https://github.com/YuanheZ/lean-stat-learning-theory。
原文链接
基于概念的模型中信息泄漏的辩护
原标题：In Defense of Information Leakage in Concept-based Models
作者：Mateo Espinosa Zarlenga
期刊：arXiv每日人工精选
出版时间：2026/06/09
摘要：基于概念的模型（CMs），深度神经网络，其预测依据的是与人类可理解的概念（例如，“圆形”，“条纹”等）对齐的表示，已被证明会学习泄露无关概念信息的表示。按照传统的说法，这种泄漏是不希望发生的，并且应该被消除，因为它会导致无法解释的模型。在这篇文章中，我们认为在CMs中的这种泄漏的传统观点不仅存在问题，因为关于泄漏如何使模型变得不那么可解释的证据往往是不确定的，而且在常见的现实世界约束下，必然会导向不切实际的CMs。具体来说，我们认为在概念不完整是常态的真实世界环境中，为了构建准确且可干预的CMs，有时泄漏是必要的。为此，我们提出存在一种良性泄漏，并证明通过优化典型CM训练目标的一种重构，CM可以鼓励并利用这种形式的泄漏而不牺牲准确性或可干预性。
原文链接
超越期刊：重新思考匈牙利计算机科学的研究评价
原标题：Beyond Journals: Rethinking Research Evaluation in Hungarian Computer Science
作者：János Tapolcai; Márk Jelasity; Lajos Rónyai; András Benczúr; Tibor Gyimóthy; Csaba Benedek
期刊：arXiv每日人工精选
出版时间：2026/06/09
摘要：本研究考察了顶级会议出版物在匈牙利计算机科学研究中的作用。我们表明，目前以期刊为导向的国家科学计量实践偏离了国际规范，导致研究人员评价中的激励扭曲。通过链接多个数据库(iCore, DBLP, MTMT, MTA-ATT)，我们绘制了匈牙利关联的CORE A 和 A 会议论文的时间分布、主题分布以及作者轨迹。我们的结果表明，在理论领域，在国际会议上发表论文比在应用领域更早成为常态。同时，在应用领域，成功的研究人员更可能继续他们的职业生涯在外国机构或工业职位。总体而言，已经建立的国际上最成功的相当一部分研究人员现在隶属于国外机构。我们建议在国家评估体系中将CORE A论文视为等同于D1期刊，并将CORE A论文视为等同于Q1期刊。
原文链接
利用课程先修图从对话AI交互中检测知识缺口
原标题：Detecting Knowledge Gaps from Conversational AI Interactions Using Curriculum Prerequisite Graphs
作者：Youssef Medhat; Junsoo Park; Ploy Thajchayapong; Ashok K. Goel
期刊：arXiv每日人工精选
出版时间：2026/06/09
摘要：大型在线课程产生了成千上万的学生向对话式人工智能助教提出的问题，然而这些交互日志仍然很大程度上未被用作诊断信号。我们提出了一条管道，该管道使用少量样本文本分类器将学生问题从对话式AI助教映射到课程主题，基于GPT-4提取的先修知识图谱中的课程概念。在来自164名学生的人工智能研究生课程中的1,340个问题事件上进行评估，我们的分类器在43个标签（42个课程主题加上一个“未知”弃权类）上实现了80.0％的准确率。主题层面的问题数量与学生在独立期中调查中自报的难度显著相关(rho = 0.491, p = 0.008, n = 28 topics)，提供了分类问题流反映了真实主题难度的一致证据。这些结果表明，对话AI交互日志映射到课程结构上，携带有关主题层面知识缺口的可操作信号，并为教师提供了一个基于课程的观点，指出哪些主题需要关注。
原文链接
关于成本效益的LLM-as-a-Judge改进技术
原标题：On Cost-Effective LLM-as-a-Judge Improvement Techniques
作者：Ryan Lail; Luke Markham
期刊：arXiv每日人工精选
出版时间：2026/06/09
摘要：使用语言模型对候选回复进行评分或排名已成为从人类反馈中强化学习（RLHF）管道、基准测试和应用层评估的可扩展替代方案。然而，输出可靠性取决于提示( prompting )和聚合策略。我们对四种即插即用技术——集成评分、任务特定标准注入、校准上下文和自适应模型升级——进行了实证研究，这些技术用于提高LLM在RewardBench 2上的评判准确性，并通过噪声控制的统一视角来审视随机评判：集成视为蒙特卡洛平均每次调用的噪声，标准注入视为响应间区分度增强，每个响应得分方差作为不确定性信号。集成评分和特定任务标准注入（后者几乎无成本）共同达到了高达85.8％的准确率，比基准高出+13.5个百分点校准上下文和自适应模型升级也优于基准线，但被成本-准确性帕累托前沿上的标准+集成所主导。小型模型从集成中获益不成比例，使得高精度的LLM裁判在低成本下变得可访问我们证明这些技术可以应用于不同的模型提供商，在OpenAI GPT和Anthropic Claude系列上都进行了评估。
原文链接
可解释的神经标记统计量在宇宙推断中的应用
原标题：Interpretable Neural Marked Statistics for Cosmological Inference
作者：Federico Semenzato; Benjamin D. Wandelt; Michele Liguori; Alvise Raccanelli
期刊：arXiv每日人工精选
出版时间：2026/06/09
摘要：恢复超出功率谱的宇宙学信息是即将进行的宇宙学调查的核心目标，因为物质密度中的晚期非高斯信号无法仅通过两点统计来访问。带有标记的统计学通过用非线性函数重新加权该领域，将部分信息反馈到两电平系统中。我们提出了一种神经标记方案，通过一组可解释的、具有物理动机的变换来推广这一过程，这些变换可以直接用于在形态学层面解释宇宙信息的增长。我们采用对比学习目标使可学习的标记摘要与基础宇宙学参数对齐。在,我们的神经标记收紧了对(by)和对(by)的边缘化约束,与经典标记相比,在费舍尔信息水平上打破了退化性。它进一步减少了我们宇宙学参数先验下的参数均方误差超过最佳经典标记。学习到的潜在几何结构与参数空间中的and方向对齐，表明对比目标恢复了宇宙信息的主要轴线。我们的方法为宇宙学推断开启了更强大、可解释的统计量的大门。
原文链接
嵌入混合系统到连续潜在向量场
原标题：Embedding Hybrid Systems into Continuous Latent Vector Fields
作者：Sangli Teng; Hang Liu; Koushil Sreenath
期刊：arXiv每日人工精选
出版时间：2026/06/09
摘要：这项工作证明了an维混合系统可以在其嵌入图像上装备连续向量场的情况下嵌入到an维欧几里得空间中。这一结果表明，本质上不连续的混合系统通常允许一个对于可微优化具有良好定义的外在表示形式。基于这个存在性定理，我们证明了一个隐含的神经ODE，在隐含空间和状态空间中都具有一致性损失的情况下，可以准确地恢复混合系统的流。大量的实验表明，所提出的方法优于现有方法，能够仅从时间序列数据中学习具有不同几何形状的混合系统。
原文链接
学习双重稀疏显式条件变换
原标题：Learning Doubly Sparse Explicitly Conditioned Transforms
作者：Tudor Pistol
期刊：arXiv每日人工精选
出版时间：2026/06/09
摘要：寻找某些假设成立的空间，这些假设认为自然信号具有某种假设的稀疏结构，在最近的研究中已成为一个理想的结果，其影响反映在数据压缩、噪声减少和特征提取等领域。虽然广泛使用的分析变换，如DFT或DCT，已经提供了高效的算法和稳健的稀疏表示，但它们假设了关于数据的一个固定先验，无法准确捕捉更受限信号类别的特定结构。为此，在文献中引入了数据自适应的、学习到的变换的概念，允许在变换域中减少残差项。最近的研究表明，在这种情况下，条件数是一个良好的度量标准，在此期间，期望的结果在泛化倾向和实现最小逼近误差之间交替。基于这些考虑，我们引入了结构化且显式条件变换的学习，该变换被表述为一个固定规范矩阵和一个精炼的数据自适应稀疏成分的乘积。这种方法旨在保持快速而稳定的分析变换的优势，同时引入可控的数据自适应性。目前尚未识别出与此特定配方相关的参考文献，表明其新颖性。所提出的算法是在不精确近似方法的框架下被提出的，并利用了一个新推导出的闭式投影算子。实证观察表明，在双稀疏变换学习问题上取得了最先进的结果，并且在计算成本显著降低的情况下，其性能与密集变体相当，有时收敛速度更快并且更好地避免了坏局部最小值。
原文链接
