🔬 ICLR2026 论文汇总¶
1529篇ICLR2026论文解读,涵盖图像生成(138篇)、强化学习(126篇)、模型压缩(100篇)、多模态 VLM(85篇)、LLM 推理(82篇)、3D 视觉(62篇)、可解释性(60篇)、LLM 安全(52篇)等 49个方向。每篇含一句话总结、核心思想、方法详解、实验结果与局限性分析,5分钟读懂一篇论文核心思想。
💡 LLM 推理 (82)¶
- A State-Transition Framework for Efficient LLM Reasoning
-
提出将 LLM 推理过程建模为状态转移过程的高效推理框架,用 Linear Attention 将历史推理步骤的信息压缩为状态矩阵,使注意力复杂度从 \(O(C^2)\) 降为 \(O(C)\)、KV cache 从 \(O(C)\) 降为 \(O(1)\),同时不缩短 CoT 序列,保持推理能力。额外的动量 momentum 策略缓解了噪声推理步导致的 overthinking 问题。
- ActivationReasoning: Logical Reasoning in Latent Activation Spaces
-
提出 ActivationReasoning (AR) 框架,在 LLM 的潜在激活空间(通过 SAE 提取的特征)上嵌入显式逻辑推理,通过三阶段流程(发现概念表征→检测激活命题→逻辑规则推理)实现多跳推理、概念组合和安全控制,在 PrOntoQA 上 8B 模型达到 95%+ 准确率超越 GPT-4o。
- Adaptive Social Learning via Mode Policy Optimization for Language Agents
-
提出 Adaptive Social Learning(ASL)框架,设计四种层次化推理模式(从直觉回应到深度推演),并通过 AMPO 算法(融合模式级和样本级优势估计)让 LLM agent 根据社交场景复杂度自适应切换推理深度,在社交智能任务上比 GPT-4o 高 15.6%,比 GRPO 高 7.0% 且 token 用量减少 32.8%。
- Agentified Assessment of Logical Reasoning Agents
-
提出基于Agent的评测框架(AAA),将评估逻辑封装为assessor agent并通过标准A2A接口与被测agent交互,在经Vampire定理证明器系统清洗的FOLIO数据集上,自动形式化agent(NL→Z3Py+SMT求解)达到86.70%准确率,大幅超过CoT基线73.89%,尤其在矛盾检测(False类)上提升32.79个百分点。
- AgentMath: Empowering Mathematical Reasoning for Large Language Models via Tool-Augmented Agent
-
AgentMath提出一个工具增强的Agent框架,通过自动化数据合成、多轮交互式强化学习和高效异步训练系统,将LLM推理能力与代码解释器的计算精度无缝结合,在AIME24/25和HMMT25上以30B-A3B规模达到SOTA水平(90.6%/86.4%/73.8%),超越o3-mini和Claude-Opus-4.0-Thinking。
- AIMCoT: Active Information-driven Multimodal Chain-of-Thought for Vision-Language Reasoning
-
提出 AIMCoT,将多模态 CoT 的视觉信息选择从"被动关注高注意力区域"转变为"主动寻找最高信息增益区域",通过三个模块(CAG 上下文增强注意力图、AVP 主动视觉探测、DAT 动态注意力转移触发)协同工作,在 LLaVA-W 上比 ICoT 提升 18.25%(0-shot),是一个免训练的即插即用框架。
- Annotation-Efficient Universal Honesty Alignment
-
提出 EliCal(先激发后校准)两阶段框架,先用无标注的 self-consistency 信号教 LLM 表达内部置信度,再用极少量正确性标注(仅 1k 个,占 0.18%)进行校准,在 HonestyBench(560K 训练 + 70K 评估)上达到接近全量标注 98% 的诚实性对齐性能,并在未见 MMLU 任务上泛化优于仅校准基线。
- Are Reasoning LLMs Robust to Interventions on Their Chain-of-Thought?
-
系统评估推理型 LLM 对其 CoT 中各种干预(良性/中性/对抗性)的鲁棒性:发现模型总体鲁棒能从干预中恢复,但改写风格(paraphrasing)会抑制"自我怀疑"表达导致正确率下降,恢复过程有显著计算开销(CoT 膨胀最高 665%)。
- ATTS: Asynchronous Test-Time Scaling via Conformal Prediction
-
提出 ATTS,一个基于 conformal prediction 的异步 test-time scaling 框架,通过将 rejection sampling 重构为假设检验过程来消除同步开销,在 MATH/AIME 等数学推理任务上实现最高 56.7x 加速和 4.14x 吞吐量提升,且无精度损失;1.5B/70B 的 draft/target 组合可达到 o3-mini (high) 的 AIME 水平。
- Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts
-
提出 Contact Searching Question (CSQ) 框架,基于有向图可达性任务和认知心理学原理设计两个互补统计指标——欺骗意图分数 \(\rho\) 和欺骗行为分数 \(\delta\),首次系统揭示 16 个主流 LLM 在完全良性提示下存在随任务难度升级的自发欺骗倾向。
🔒 LLM 安全 (52)¶
- Attention Smoothing Is All You Need For Unlearning
-
提出Attention Smoothing Unlearning (ASU),通过提高自注意力softmax温度构造forget-teacher,将遗忘问题转化为自蒸馏——平滑注意力分布以削弱词汇级和语义级关联,从而在擦除记忆知识的同时保持模型输出连贯性,在TOFU、MUSE、WMDP等多个基准上超越现有遗忘方法。
- AudioTrust: Benchmarking the Multifaceted Trustworthiness of Audio Large Language Models
-
提出 AudioTrust,首个针对音频大语言模型(ALLM)的多维度可信度评估基准,涵盖公平性、幻觉、安全性、隐私、鲁棒性和认证六大维度,设计 26 个子任务和 4420+ 音频样本,系统评估了 14 个 SOTA 开/闭源 ALLM 在高风险音频场景下的可信度边界。
- BEAT: Visual Backdoor Attacks on VLM-based Embodied Agents via Contrastive Trigger Learning
-
提出 BEAT,首个针对 VLM 驱动具身智能体的视觉后门攻击框架,使用环境中的物体(如刀具)作为触发器,通过两阶段训练(SFT + Contrastive Trigger Learning)实现精准的后门激活,攻击成功率最高 80%,同时维持正常任务性能,揭示了 VLM 具身智能体的关键安全漏洞。
- BiasBusters: Uncovering and Mitigating Tool Selection Bias in Large Language Models
-
本文首次系统研究了 LLM 在工具选择中的偏差问题——当多个功能等价的 API 可选时,LLM 会因语义对齐、位置效应和预训练曝光等原因系统性地偏好某些工具,作者提出了基于 total variation 的偏差度量、10 类工具的评估基准,以及"先过滤再均匀采样"的轻量缓解策略。
- Converge Faster, Talk Less: Hessian-Informed Federated Zeroth-Order Optimization
-
提出 HiSo(Hessian-informed Scalar-only communication),在联邦零阶优化中利用全局对角 Hessian 近似加速收敛,同时严格保持标量通信不传输任何二阶信息。理论证明在低有效秩和白化假设下收敛速率独立于 Lipschitz 常数 \(L\) 和模型维度 \(d\);实验在 OPT-350M/1.3B/2.7B 微调中实现 1.4~5.4× 通信轮次加速,通信成本仅 KB 级。
- Do Vision-Language Models Respect Contextual Integrity in Location Disclosure?
-
本文基于 Nissenbaum 的上下文完整性(Contextual Integrity)理论构建了 VLM-GEOPRIVACY 基准,通过7个层次递进的上下文感知问题和三级位置披露粒度(拒绝/城市级/精确位置),系统评估14个主流VLM是否能根据图像中的社会规范线索判断适当的位置信息披露级别,结果发现所有模型均严重偏向过度披露(Over-Disclosure率高达46-52%),且恶意提示可将抽象违反率推至100%。
- Doxing via the Lens: Revealing Location-related Privacy Leakage on Multi-modal Large Reasoning Models
-
本文系统揭示了多模态大推理模型(MLRM)通过图像推断敏感地理位置信息的隐私泄露风险,提出了三级隐私风险框架和 DoxBench 基准,以及信息论度量 Glare 和协作攻击框架 GeoMiner。
- Efficient Adversarial Attacks on High-dimensional Offline Bandits
-
揭示了离线多臂老虎机(MAB)评估框架的安全漏洞:攻击者只需对公开的奖励模型权重进行极小的不可感知扰动,就能完全劫持 bandit 的决策行为,且所需扰动范数随输入维度增加而降低(\(\widetilde{\mathcal{O}}(d^{-1/2})\)),使基于图像的生成模型评估特别脆弱。
- Erase or Hide? Suppressing Spurious Unlearning Neurons for Robust Unlearning
-
揭示主流 LLM 遗忘方法的"浅层对齐"问题——它们通过产生"虚假遗忘神经元"抑制目标知识的显示而非真正擦除,导致知识通过后续微调轻松恢复;提出 Ssiuu 方法通过归因引导的正则化防止负向影响膨胀,实现鲁棒遗忘。
- ExpGuard: LLM Content Moderation in Specialized Domains
-
提出面向金融、医疗、法律等专业领域的安全护栏模型 ExpGuard 及配套数据集 ExpGuardMix(58,928 样本),在领域特定测试集上 prompt 分类 F1 超 WildGuard 8.9%、response 分类超 15.3%,同时在通用安全基准上保持 SOTA 水平。
🦾 LLM Agent (42)¶
- A Benchmark for Deep Information Synthesis (DeepSynth)
-
提出 DeepSynth 基准,包含 120 个跨 7 领域 67 国的真实信息综合任务(平均需 5.5 小时人工标注),要求 agent 从多个网页收集信息并进行结构化推理,当前最强 agent(o3-deep-research)仅获 8.97 F1 / 17.5% LLM-Judge,揭示了 LLM agent 在信息综合方面的严重不足。
- Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models
-
提出 ACE(Agentic Context Engineering)框架,将 context 视为不断演化的"策略手册"(playbook),通过 Generator-Reflector-Curator 三角色分工和增量式 delta 更新来持续积累和精炼策略,解决了现有 prompt 优化中的简洁偏差和上下文坍塌问题,在 agent 任务上平均提升 10.6%、金融任务提升 8.6%,且自适应延迟降低 86.9%。
- AgentSynth: Scalable Task Generation for Generalist Computer-Use Agents
-
提出AgentSynth pipeline,利用信息不对称原理(正向逐步生成简单、反向整体求解困难)将简单子任务链式组合为复杂长程计算机使用任务,自动生成6000+多样化任务和轨迹,每条轨迹仅需$0.60,SOTA Agent在最高难度下成功率仅4%。
- AutoFigure: Generating and Refining Publication-Ready Scientific Illustrations
-
提出AutoFigure——第一个基于"推理渲染"范式的Agent框架,通过解耦结构布局规划和美学渲染两阶段自动从长科学文本生成达到出版质量的科学插图,配合首个大规模基准FigureBench(3,300对)进行系统评估,66.7%的生成结果被原作者认为可用于camera-ready版本。
- ChatInject: Abusing Chat Templates for Prompt Injection in LLM Agents
-
揭示 LLM Agent 中 chat template 的结构性漏洞:通过在工具返回的数据中伪造角色标签(如
<system>,<user>),攻击者可以劫持模型的角色层级认知,将恶意指令伪装为高优先级指令,ASR 从 5-15% 提升至 32-52%。 - CoMind: Towards Community-Driven Agents for Machine Learning Engineering
-
提出MLE-Live——首个模拟Kaggle研究社区的实时评估框架,以及CoMind——一个能够系统性利用社区集体知识的多智能体ML工程系统,在75个历史Kaggle竞赛中获得36%奖牌率,并在4个进行中的竞赛中平均超越79.2%的人类参赛者(更新版本中达到92.6%)。
- Efficient Agent Training for Computer Use
-
PC Agent-E 仅用 312 条人工标注的 Windows 操作轨迹,通过 Trajectory Boost 方法让 Claude 3.7 Sonnet 在每个时间步合成多样化的替代动作决策,训练后的 Qwen2.5-VL-72B 在 WindowsAgentArena-V2 上相对提升 141%,甚至超越教师模型 Claude 3.7 Sonnet 10%。
- Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization
-
提出 EMPO2,一种结合外部记忆模块与混合 on-policy/off-policy 更新的 RL 框架,通过记忆引导探索和知识蒸馏将探索收益内化到模型参数中,在 ScienceWorld 和 WebShop 上分别比 GRPO 提升 128.6% 和 11.3%。
- FingerTip 20K: A Benchmark for Proactive and Personalized Mobile LLM Agents
-
FingerTip 20K 收集了 95 名用户在真实日常手机使用中的 21,437 条交互记录(含用户画像、时间、位置、历史意图),提出两个新赛道——主动任务建议(预测用户意图)和个性化任务执行(适配动作偏好),最强模型 Qwen-QVQ-Max 主动建议成功率仅 12.8%(人类 30.3%),UI-TARS 执行成功率仅 38.5%。
- Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments
-
提出 Gaia2 基准,在动态异步环境中评估 LLM Agent 的能力,引入时间约束、噪声事件、歧义解析和多 Agent 协作等现实场景,配合可验证奖励的写操作验证器,使基准可直接用于 RLVR 训练,评估显示最强模型 GPT-5 (high) 仅达42% pass@1。
⚖️ 对齐 / RLHF (40)¶
- A2D: Any-Order, Any-Step Safety Alignment for Diffusion Language Models
-
提出 A2D,一种针对扩散语言模型(dLLM)的 token 级安全对齐方法,通过训练模型在遇到有害内容的 mask 位置输出 [EOS] token 来实现任意解码顺序、任意解码步的安全防御,将 DIJA 模板攻击成功率从 80%+ 降到近零(1.3%/0.0%),并支持早期拒绝实现 19.3x 加速。
- Agnostics: Learning to Synthesize Code in Any Programming Language with a Universal RL Environment
-
提出Agnostics,一种语言无关的后训练pipeline:将编程任务统一为I/O行为规范格式,用通用验证器+GRPO强化学习训练LLM在任何编程语言上编码,使Qwen 4B在Lua/Julia/R/OCaml/Fortran五种低资源语言上达到匹敌16B-70B模型的SOTA水平。
- Align Once, Benefit Multilingually: Enforcing Multilingual Consistency for LLM Safety Alignment
-
提出 Multi-Lingual Consistency (MLC) 辅助损失,通过 SVD 操控多语言表示矩阵的奇异值使其趋向秩-1(即多语言表示共线),仅需多语言 prompt 翻译(无需目标语言的 response),即可将一种语言的安全对齐效果一致性地迁移到所有语言。
- AlphaSteer: Learning Refusal Steering with Principled Null-Space Constraint
-
提出 AlphaSteer,通过学习一个受零空间约束的变换矩阵来动态构造 steering 向量,对良性输入产生近零向量(保持效用),对恶意输入重建拒绝方向向量(增强安全),在理论上保证了安全与效用的解耦。
- Beyond Pairwise: Empowering LLM Alignment With Ranked Choice Modeling
-
提出 RCPO 框架,将 LLM 对齐从成对偏好扩展到排名选择(ranked choice)建模,通过 MLE 统一了效用模型(MNL)和排名模型(Mallows-RMJ),在 single-best 和 top-k 反馈格式下都优于 DPO 及其变体。
- Beyond RLHF and NLHF: Population-Proportional Alignment under an Axiomatic Framework
-
提出基于社会选择理论公理的偏好学习框架,从成对比较数据中推断评估者人群分布的可行集,构造满足人群比例对齐(PPA)和人群有界可操纵性(PBM)公理的策略。
- CAGE: A Framework for Culturally Adaptive Red-Teaming Benchmark Generation
-
提出 CAGE 框架,通过 Semantic Mold(语义模具)将红队攻击 prompt 的对抗结构与文化内容解耦,能系统性地将英语红队基准适配到不同文化语境中,生成的文化扎根 prompt 比直接翻译的 ASR 显著更高。
- Capability-Based Scaling Trends for LLM-Based Red-Teaming
-
在 600+ 对攻击者-目标 LLM 组合上系统评估了 4 种越狱方法,发现攻击成功率(ASR)与攻击者-目标的能力差距遵循 sigmoid 缩放定律(R^2=0.83),能力差距可用 MMLU-Pro 的 logit 变换量化。
- Chasing the Tail: Effective Rubric-based Reward Modeling for Large Language Model Post-Training
-
理论证明奖励过优化主要源于高奖励尾部区域的奖励模型错误规范,提出基于 rubric 的奖励建模方法:利用 off-policy 数据(强模型生成的优秀回复)构造评分细则,通过渐进式区分"优秀 vs 更优秀"来精细化 rubric,有效缓解奖励过优化。
- Displacement-Resistant Extensions of DPO with Nonconvex \(f\)-Divergences
-
发现 f-DPO 的可解性不需要 f 凸(仅需 \(\lim_{t\to 0^+} f'(t) = -\infty\)),进一步证明 \(\arg\min f(t) \geq 1\) 是抵抗概率位移的必要条件,由此提出 SquaredPO(\(f(t) = \frac{1}{2}(\log t)^2\),非凸),在保持性能的同时显著缓解 winner 概率下降问题。
📊 LLM 评测 (29)¶
- AdaBlock-dLLM: Semantic-Aware Diffusion LLM Inference via Adaptive Block Size
-
通过统计分析扩散语言模型(dLLM)去噪过程中 token 置信度的动态变化,发现"波动带"(Volatility Band)区域编码了文本的局部语义结构,进而提出 AdaBlock-dLLM——一个无训练、即插即用的自适应块大小调度器,让半自回归解码的块边界与语义步骤自然对齐,在相同吞吐量下最高提升 5.3% 准确率。
- AnesSuite: A Comprehensive Benchmark and Dataset Suite for Anesthesiology Reasoning
-
构建首个面向麻醉学推理的综合数据集套件AnesSuite,包含评测基准AnesBench(7972道三级认知难度双语选择题)和三组训练数据集(AnesCorpus/AnesQA/AnesR1),基于此训练的Morpheus模型通过SFT+GRPO让7B模型追平14B基线,同时揭示了当前最强LLM在复杂临床推理(System 2)上的显著瓶颈。
- ASIDE: Architectural Separation of Instructions and Data in Language Models
-
提出 ASIDE,一种在 token embedding 层面通过正交旋转区分指令和数据的架构级改造,仅需修改前向传播并在标准指令微调数据上训练,即可显著提升指令-数据分离度和 prompt injection 鲁棒性,无需任何安全专项训练。
- AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite
-
AI2 团队针对现有科研 Agent 基准的 5 大方法学缺陷,构建了首个覆盖科学研究全流程的 Agent 评估套件 AstaBench,包含 4 大类 11 个子基准共 2400+ 问题,配备基于 Semantic Scholar 的生产级可控搜索工具和 9 类科研优化 Asta Agent 基线,对 57 个 Agent(22 类)进行了迄今最大规模的系统评估,发现尽管在文献检索等单项任务上取得了进展,AI 在端到端科学研究辅助方面仍远未达标。
- Benchmarking Overton Pluralism in LLMs
-
提出 OvertonBench 框架,通过大规模人类研究(1208名美国代表性参与者、60个主观问题、8个LLM)将 Overton 多元主义形式化为集合覆盖度指标 OvertonScore,发现当前所有模型得分仅 0.35–0.41(理论上限为 1.0),并构建了与人类判断高度相关(ρ=0.88)的自动化评测工具。
- BiasScope: Towards Automated Detection of Bias in LLM-as-a-Judge Evaluation
-
提出 BiasScope,一个完全由 LLM 驱动的迭代式框架,能自动、大规模地发现 LLM-as-a-Judge 中的潜在未知偏差,并基于此构建了更具挑战性的 JudgeBench-Pro 基准,在其上即使强大的 LLM 评估器错误率也超过 50%。
- Can Vision–Language Models Assess Graphic Design Aesthetics? A Benchmark, Evaluation, and Dataset Perspective
-
提出 AesEval-Bench,首个系统性评估 VLM 图形设计美学评估能力的 benchmark(4维度×12指标×3任务),发现现有 VLM(含推理增强型)在设计美学上表现有限,并通过 human-guided VLM labeling + indicator-grounded reasoning 构建训练数据,微调 7B 模型在精确定位任务上超过 GPT-5。
- Can You Hear Me Now? A Benchmark for Long-Range Graph Propagation and Beyond
-
本文提出 ECHO 基准,包含 3 个合成任务和 2 个基于密度泛函理论(DFT)的真实化学任务,要求图神经网络在 17–40 跳范围内有效传播信息,系统评估了 11 种 GNN 架构的长程传播能力。
- DARE-bench: Evaluating Modeling and Instruction Fidelity of LLMs in Data Science
-
DARE-bench 是一个面向数据科学任务的大规模可验证基准,包含 6300 个 Kaggle 衍生任务,支持 ML 建模和指令遵循两类评估,提供训练集支持 SFT 和 RL——SFT 将 Qwen3-32B 提升 1.83×,RL 将 Qwen3-4B 提升 8× 以上。
- Doubly-Robust LLM-as-a-Judge: Externally Valid Estimation with Imperfect Personas
-
提出一种 doubly-robust 估计框架,将不完美的 LLM persona 评分与存在采样偏差的人工评分相结合,在协变量偏移和选择偏差同时存在时仍能产生统计有效的 GenAI 系统质量估计。
📚 预训练 (25)¶
- A Law of Data Reconstruction for Random Features (and Beyond)
-
从信息论和代数角度证明随机特征模型中存在数据重构定律:当参数量 \(p \gg dn\)(\(d\) 为数据维度,\(n\) 为样本数)时,训练数据可被完整重构,并通过投影损失优化方法在 RF、两层网络和 ResNet 上验证了该阈值的普适性。
- Accessible, Realistic, and Fair Evaluation of Positive-Unlabeled Learning Algorithms
-
提出首个 PU 学习统一基准,系统解决两个关键问题:(1) 用代理准确率和代理 AUC 实现无负样本的模型选择;(2) 发现并通过将正样本并入无标签集的简单校准方法解决单样本设置下的内部标签偏移问题,使双样本算法在单样本评估中得到公平比较。
- Block-Sample MAC-Bayes Generalization Bounds
-
提出块样本MAC-Bayes泛化界(mean approximately correct),将训练数据划分为J个块后用各块条件下的KL散度之和替代整体KL散度,在确定性学习算法(如均值估计)等原始PAC-Bayes界为空(vacuous)的场景下仍能给出有限、有意义的泛化误差界,并证明了该界的高概率版本在一般情况下不可行。
- CHAMMI-75: Pre-training multi-channel models with heterogeneous microscopy images
-
构建 CHAMMI-75——最大的异构多通道显微镜图像预训练数据集(280 万图像,75 个来源,25 种通道类型,16 种物种),证明成像模态多样性是提升多通道模型泛化能力的关键因素,训练的 MorphEm 模型在 7 个 benchmark 中 6 个达到 SOTA。
- Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training
-
构建 Common Corpus——约 2 万亿 token 的最大规模合法授权 LLM 预训练数据集,覆盖 6 大集合(政府/文化/科学/代码/Web/语义),多语言(含低资源语言),所有数据均为无版权或宽松许可来源,配有完整数据溯源和多阶段过滤管道,已被 Anthropic 等行业领导者采用。
- Deconstructing Positional Information: From Attention Logits to Training Biases
-
提出基于 Toeplitz 矩阵的统一分析框架,将位置编码分为加法(Absolute/T5/ALiBi)和乘法(RoPE)两类;通过合成任务发现 RoPE 在位置敏感任务上优势显著但存在"单头沉积模式"(single-head deposit pattern)——浅层几乎所有位置推理集中于单个注意力头;理论证明该模式是 RoPE 乘法结构的固有属性。
- Emergent Misalignment is Easy, Narrow Misalignment is Hard
-
研究发现在窄域有害数据上微调会造成广域错位(emergent misalignment),因为"通用错位"比"仅在特定域错位"是更简单高效的参数空间解——通用解的参数范数更小且对噪声更稳定。
- Explaining Grokking and Information Bottleneck through Neural Collapse Emergence
-
通过 Neural Collapse 的视角统一解释 Grokking(延迟泛化)和 Information Bottleneck(压缩阶段)两大训练后期现象,证明群体类内方差的收缩是两者的共同关键因素,并揭示训练损失收敛与 Neural Collapse 发生存在由 weight decay 控制的不同时间尺度。
- FictionalQA: A Dataset for Studying Memorization and Knowledge Acquisition
-
提出 FictionalQA 数据集及生成管线,通过合成关于虚构事件的 webtext 风格文档和 QA 对,在受控环境下研究 LLM 训练中事实记忆与逐字记忆的双重过程,发现更多样的表面形式有助于知识获取而简洁的结构化列表反而最不利于泛化。
- Identifying and Evaluating Inactive Heads in Pretrained LLMs
-
系统评估12种评分函数识别LLM中不活跃注意力头,发现基于头输出范数的评分函数(AHON LN)比传统注意力权重指标更能跨模型家族一致地识别不活跃头,14个模型上平均超过12%的头可被置零而保持MMLU精度在1%以内。
⚡ LLM 效率 (20)¶
- Deep Hierarchical Learning with Nested Subspace Networks for Large Language Models
-
提出嵌套子空间网络(NSN),通过低秩分解使线性层形成严格嵌套的子空间层次,配合不确定性感知多秩训练,使单个模型在测试时可即时调节计算量与性能的权衡(50% FLOPs 减少仅损失 5% 精度),且可后验应用于预训练 LLM。
- Did You Check the Right Pocket? Cost-Sensitive Store Routing for Memory-Augmented Agents
-
将记忆增强 Agent 的多存储检索形式化为代价敏感的存储路由问题(store routing),证明选择性检索相比全量检索可在减少 62% context token 的同时提升 QA 准确率(86% vs 81%),并提出基于语义信号的启发式路由基线。
- DND: Boosting Large Language Models with Dynamic Nested Depth
-
DND在Transformer层末端通过路由器选出关键token,将其回送同一层进行额外处理(嵌套深度),配合路由控制损失和阈值控制方案实现精确稳定的token选择,以极少的参数增加(<0.1M)在Qwen3-1.7B和Qwen3-30B-A3B上分别获得1.88%和0.87%的平均性能提升。
- Efficient Resource-Constrained Training of Transformers via Subspace Optimization
-
提出 WASI(Weight-Activation Subspace Iteration),基于"微调过程中参数子空间稳定"的假设,同时压缩 Transformer 的权重(SVD + Gram-Schmidt 子空间迭代)和激活(Tucker 分解),实现训练和推理都在低秩表示中完成,达到 62× 训练内存压缩和 Raspberry Pi 5 上 1.4× 加速,且精度损失可忽略。
- EvoEngineer: Mastering Automated CUDA Kernel Code Evolution with Large Language Models
-
提出 EvoEngineer,首个系统化的 LLM-based 代码演化框架,将代码演化分解为 traverse technique(含两层设计:solution guiding + prompt engineering)和 population management 两个正交组件,在 91 个真实 CUDA kernel 上实现最高 2.72× 中位加速比和 69.8% 代码有效率,在性能和正确性两个维度上超越现有方法。
- Expert Divergence Learning for MoE-based Language Models
-
解决 MoE 训练中的专家同质化问题,通过最大化不同数据域之间路由分布的 Jensen-Shannon 散度,鼓励不同域激活不同专家子集,在 15B-A1.5B 模型上提升专家特化程度和语言建模性能。
- Fast Catch-Up, Late Switching: Optimal Batch Size Scheduling via Functional Scaling Laws
-
通过 Functional Scaling Law 框架理论推导出 batch size scheduling 的最优策略——对困难任务,最优策略是训练大部分时间用小 batch,仅在最后阶段切换到大 batch(late switching);并揭示了 fast catch-up 效应——切换后 loss 迅速追上全程大 batch 的轨迹,在 1.1B 参数 1T token 的 LLM 预训练中验证了该原则。
- Group Representational Position Encoding (GRAPE)
-
提出 GRAPE 框架,基于群作用(group actions)统一了 Transformer 中乘法型(RoPE)和加法型(ALiBi/FoX)两大位置编码家族,证明 RoPE 和 ALiBi 是其精确特例,并提出路径积分加法变体 GRAPE-AP 在下游任务上超越现有方法。
- IterResearch: Rethinking Long-Horizon Agents with Interaction Scaling
-
提出 IterResearch,一种基于MDP的迭代深度研究范式,通过周期性工作区重构替代单上下文线性累积,使Agent在40K上下文长度下扩展到2048次交互(性能从3.5%提升至42.5%),在6个benchmark上平均超出开源Agent 14.5个百分点。
- LycheeDecode: Accelerating Long-Context LLM Inference via Hybrid-Head Sparse Decoding
-
提出 LycheeDecode,通过将注意力头细粒度分为少量 retrieval heads(负责全注意力选关键 token)和大量 sparse heads(复用选出的 token 做稀疏计算),并用 HardKuma 分布端到端学习头类型,在 128K 上下文下实现 2.7× 加速且性能不降。
👥 多智能体 (15)¶
- AgentTrace: Causal Graph Tracing for Root Cause Analysis in Deployed Multi-Agent Systems
-
提出AgentTrace框架,从多智能体系统的执行日志中构建因果图,通过反向追踪+轻量级特征排序(五组特征的加权线性组合)定位根因节点,在550个合成故障场景上Hit@1达94.9%,延迟0.12秒,比LLM分析快69倍。
- Auditing Cascading Risks in Multi-Agent Systems via Semantic–Geometric Co-evolution
-
提出 SCCAL 框架,通过耦合语义流(semantic flow)和交互图的 Ollivier–Ricci 曲率(ORC)来建模多智能体系统中语义-几何的协同演化,利用两者的一致性残差作为级联风险的早期预警信号,在语义违规显现前数轮即可检测异常。
- Completing Missing Annotation: Multi-Agent Debate for Accurate and Scalable Relevance Assessment
-
提出DREAM——基于对立立场初始化的多Agent多轮辩论框架用于IR相关性标注:一致时自动标注、分歧时交给人工(含辩论历史辅助)。达到95.2% balanced accuracy且仅3.5%需人工介入,据此构建BRIDGE基准数据集,发现29,824个原有基准缺失的相关标注(原标注的428%),修正了检索系统排名偏差和RAG中检索-生成性能不匹配问题。
- HAMLET: A Hierarchical and Adaptive Multi-Agent Framework for Live Embodied Theatre
-
提出 HAMLET 多智能体框架,将 AI 戏剧创作和在线表演解耦为离线规划和在线表演两阶段,通过叙事蓝图、感知与决策(PAD)模块和层级控制系统,实现了具有主动性、物理环境交互能力和即兴表演自由的 AI 戏剧体验。
- KVComm: Enabling Efficient LLM Communication through Selective KV Sharing
-
提出 KVComm 框架通过选择性共享 KV pairs 实现 LLM 间高效通信,发现 hidden states 存在"信息集中偏差"使其不适合跨模型传递,设计基于注意力重要性 + 高斯先验的层选择策略,仅传输 30% 层即可超越大多数 baseline。
- LH-Deception: Simulating and Understanding LLM Deceptive Behaviors in Long-Horizon Interactions
-
提出首个面向长时域交互的 LLM 欺骗行为仿真框架 LH-Deception,采用执行者-监督者-审计者三角色多智能体架构,结合社会科学理论驱动的概率事件系统,在 11 个前沿模型上系统量化了欺骗频率、严重性、类型分布及其对信任关系的侵蚀效应,揭示了静态单轮评估完全无法捕捉的"欺骗链"涌现现象。
- MAC-AMP: A Closed-Loop Multi-Agent Collaboration System for Multi-Objective Antimicrobial Peptide Design
-
提出 MAC-AMP,首个闭环多智能体协作系统,将抗菌肽(AMP)设计重构为协调多智能体优化问题,通过 AI 模拟同行评审和自适应奖励设计实现多目标优化。
- MMedAgent-RL: Optimizing Multi-Agent Collaboration for Multimodal Medical Reasoning
-
提出 MMedAgent-RL,通过 RL 优化模拟临床会诊流程(分诊→专科→主治)的多智能体系统,核心创新是课程学习引导的熵感知 RL(C-MARL),让主治医师智能体在面对正确/冲突/错误的专科意见时分别采取不同的探索-利用策略,在域内外共 5 个医学 VQA 基准上实现 SOTA。
- Multi-agent Coordination via Flow Matching
-
提出 MAC-Flow,先用 Flow Matching 学习中心化联合行为分布,再通过 IGM(Individual-Global-Max)分解将其蒸馏为去中心化的单步策略,结合 Q 值最大化进行行为正则化训练,在 4 个基准 12 个环境 34 个数据集上实现了约 14.5 倍于扩散方法的推理加速,同时保持了与扩散策略可比的协调性能。
- Multi-Agent Design: Optimizing Agents with Better Prompts and Topologies
-
提出Multi-Agent System Search(MASS)框架,通过交错优化提示词和拓扑结构的三阶段策略(局部提示优化→拓扑搜索→全局提示优化),自动发现高性能的多智能体系统设计。
👻 幻觉检测 (9)¶
- Copy-Paste to Mitigate Large Language Model Hallucinations
-
提出 Copy-Paste 生成范式,通过训练 LLM 优先直接复制检索上下文中的片段来生成回答,而非自由改写,配合高复制偏好的 DPO 训练,在反事实 RAG 基准上将忠实度从 80.2% 提升到 92.8%。
- Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models
-
提出动态多模态激活引导(DMAS),通过构建基于语义的真实性引导向量数据库和视觉感知引导向量,在推理时动态选择最相关的引导向量对关键注意力头进行干预,无需训练即可显著缓解LVLM幻觉,在MME上提升94.66分,在CHAIR上降低20.2%幻觉率。
- Enhancing Hallucination Detection through Noise Injection
-
在 LLM 中间层的 MLP 激活中注入均匀噪声来近似贝叶斯后验,捕获认知不确定性(epistemic uncertainty),与采样温度捕获的偶然不确定性(aleatoric uncertainty)互补,将 GSM8K 上的幻觉检测 AUROC 从 71.56 提升到 76.14。
- Hallucination Begins Where Saliency Drops
-
提出 LVLMs-Saliency 梯度感知诊断框架来量化每个输出 token 的视觉锚定强度,发现"当先前输出 token 对下一个 token 预测的显著性降低时,幻觉就会产生"的关键规律,并基于此设计了 SGRS(显著性引导的拒绝采样)+ LocoRE(局部一致性增强)双机制推理时框架,在多个 LVLM 上显著降低幻觉率。
- Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation
-
提出 AIR(Adaptive vIsual Reinforcement)框架,通过原型距离的 token 精简 + 最优传输引导的 patch 选择性增强,在推理时无训练地减少 MLLM 幻觉(LLaVA-1.5-7B CHAIR_S: 22→18.4,POPE 准确率 +5.3%),同时保持多模态通用能力。
- LUMINA: Detecting Hallucinations in RAG System with Context-Knowledge Signals
-
提出 Lumina 框架,通过"上下文-知识信号"检测RAG系统中的幻觉:用MMD度量外部上下文利用程度,用跨层token预测演化度量内部知识利用程度,无需超参调优即可泛化。
- SHIELD: Suppressing Hallucinations In LVLM Encoders via Bias and Vulnerability Defense
-
首次将LVLM对象幻觉系统性追溯到视觉编码器,识别出统计偏差(高频模式token过度强调)、固有偏差(预训练主导对象的残余表示)、脆弱性(微小扰动即导致特征失真)三大问题,并提出SHIELD——一个完全免训练的框架,通过token重加权、token减法和对比解码三策略协同防御,在LLaVA-1.5/InstructBLIP/Qwen-VL上全面超越VCD和OPERA等方法。
- Token-Guard: Towards Token-Level Hallucination Control via Self-Checking Decoding
-
提出 Token-Guard,一种基于自检验解码的 token 级幻觉控制方法,通过隐空间中的 token 级/段级评分和迭代修正机制,在解码过程中检测并抑制幻觉生成,F1 平均提升 16.3%。
- VeriTrail: Closed-Domain Hallucination Detection with Traceability
-
提出 VeriTrail——首个为多步生成过程(MGS)提供可追溯性的闭域幻觉检测方法,建模生成过程为 DAG 并沿路径逐层验证,同时构建了首批包含所有中间输出和人工标注的 MGS 数据集。
✏️ 知识编辑 (8)¶
- Bilinear Representation Mitigates Reversal Curse and Enables Consistent Model Editing
-
通过在合成关系知识图谱上从头训练 Transformer,发现适当正则化会使模型隐层涌现出双线性关系结构(bilinear relational structure),该结构不仅能克服逆向诅咒(reversal curse),还能实现编辑单个事实后逻辑一致地传播到相关事实。
- EAMET: Robust Massive Model Editing via Embedding Alignment Optimization
-
揭示大规模模型编辑失败的根本原因是 key embedding 与 residual embedding 之间的结构不一致(embedding misalignment),提出 EAMET 通过渐进式保存已优化的残差 embedding 并用 KL 散度 + MSE 双损失将其邻域结构对齐到 key embedding 空间,在 6 个 LLM、3 个数据集上同时编辑 10k 事实时平均超越 MEMIT 14%(CounterFact)和 8%(ZsRE),且在长前缀和同主语多事实两大鲁棒性场景下表现稳健。
- Energy-Regularized Sequential Model Editing on Hyperspheres
-
从超球面均匀性(Hyperspherical Energy)视角理解序列模型编辑中的性能退化,提出 SPHERE 方法:通过将编辑扰动投影到预训练权重主超球方向的正交补空间,实现稳定的大规模序列编辑,在 LLaMA3-8B 上平均超越最强基线 16.41%。
- Fine-tuning Done Right in Model Editing
-
揭示模型编辑中 fine-tuning 被低估的根因是错误的训练 pipeline(深度优先逐样本优化),修正为标准的广度优先 mini-batch 训练后,配合局部化参数调优形成 LocFT-BF,首次支持 10 万次连续编辑和 72B 模型规模。
- GOT-Edit: Geometry-Aware Generic Object Tracking via Online Model Editing
-
通过零空间约束的在线模型编辑,将 VGGT 提供的 3D 几何信息融入 2D 通用目标跟踪器中,在保持语义判别力的同时增强几何感知能力,在遮挡和背景杂乱场景中显著提升跟踪性能。
- PICS: Pairwise Image Compositing with Spatial Interactions
-
提出 PICS——一种并行成对图像合成方法,通过 Interaction Transformer 中的掩码引导 MoE 和自适应 α-blending 策略,在单次推理中同时合成两个对象并显式建模遮挡、接触等空间交互关系,全面超越现有序列合成方法。
- Rote Learning Considered Useful: Generalizing over Memorized Training Examples
-
本文提出"先记忆再泛化"两阶段框架,证明 LLM 可以在死记硬背合成关键 token 后,通过极少量语义微调实现泛化,挑战了"记忆阻碍泛化"的传统观点。
- When Large Multimodal Models Confront Evolving Knowledge: Challenges and Explorations
-
提出 EVOKE 基准测试,系统评估大型多模态模型 (LMM) 对演化知识的注入能力,揭示两大挑战(现有方法表现差、微调导致灾难性遗忘),并提出知识增强和持续学习两条应对路径。
💬 LLM 其他 (33)¶
- BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning
-
提出 BOTS——一个基于贝叶斯推断的在线任务选择统一框架,在 LLM 强化微调中通过融合显式证据(直接评估的历史通过率)和隐式证据(利用参考模型插值推断的未评估任务难度),配合 Thompson 采样实现探索-利用平衡,在数学/代码/逻辑任务上以仅 0.2% 的额外开销带来最高 50% 的训练加速。
- Breaking the Correlation Plateau: On the Optimization and Capacity Limits of Attention-Based Regressors
-
本文首次从理论上分析了注意力回归模型在联合 MSE+PCC 训练时出现的"PCC平台期"现象——发现其根源在于 MSE 优化与 PCC 梯度之间的冲突以及 softmax 凸聚合的表达力上界——并提出 ECA(Extrapolative Correlation Attention)框架,通过缩放残差聚合、色散感知温度 softmax 和色散归一化 PCC 损失三个组件突破该限制。
- Compositional-ARC: Assessing Systematic Generalization in Abstract Spatial Reasoning
-
提出 Compositional-ARC 数据集评估模型在抽象空间推理中的系统性泛化能力——从已知基础几何变换(如平移、旋转)泛化到未见过的变换组合。一个仅 5.7M 参数的 MLC 训练的 encoder-decoder 模型在系统性任务上达到 78.26%,与 ARC Prize 2024 冠军的 8B 模型+TTT 持平,远超 GPT-4o、o3-mini 等(<3%)。
- d²Cache: Accelerating Diffusion-Based LLMs via Dual Adaptive Caching
-
提出 d²Cache,一种面向 Diffusion-based LLM(dLLM)的无训练近似 KV 缓存框架,通过确定性先验引导的 masked token 选择 + 注意力感知的非 mask token 选择两阶段策略,实现 4.1× 推理加速同时提升生成质量。
- DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas
-
DreamOn 通过引入 [expand] 和 [delete] 两个特殊状态解决了扩散语言模型(DLM)的固定长度生成限制,无需架构修改即可实现变长代码填充,在 HumanEval-Infilling 上比扩散基线平均提升 26.4%,达到与 SOTA 自回归模型持平的水平。
- ELLMob: Event-Driven Human Mobility Generation with Self-Aligned LLM Framework
-
提出 ELLMob 框架,基于认知心理学的模糊痕迹理论(FTT),通过提取并迭代对齐"习惯 gist"和"事件 gist"来调和用户日常模式与社会事件约束之间的竞争,实现事件驱动的可解释轨迹生成。
- Enhancing Persona Following at Decoding Time via Dynamic Importance-Guided Token Estimation for Role-Playing Agents
-
提出 Persona Dynamic Decoding (PDD) 框架,通过条件互信息动态估计人格属性的场景依赖重要性,并将重要性分数整合到多目标奖励引导解码中,实现无需微调的推理时人格跟随。
- Evaluating Text Creativity across Diverse Domains: A Dataset and Large Language Model Evaluator
-
提出基于上下文感知的成对比较框架来评估文本创造力,构建了包含 100K+ 人类级别和 1M+ 合成数据的 CreataSet 数据集,训练出 CrEval 评估器,在与人类判断的对齐度上超越 GPT-4o 达 18.7%。
- Fine-Grained Activation Steering: Steering Less, Achieving More
-
AUSteer 发现块级激活转向(steering)本质上是异质的——不同维度控制不同 token 分布,混合转向既放大有益信号也放大有害信号。提出原子单元(AU)级细粒度转向:用激活动量定位判别性维度,自适应调节转向强度,仅转向 ≤100 个维度即大幅超越转向数千维度的 SOTA 方法。
- First is Not Really Better Than Last: Evaluating Layer Choice and Aggregation Strategies in Language Model Data Influence Estimation
-
通过理论和实验证明先前工作所推崇的"第一层(embedding)最适合做 influence estimation"的结论是不可靠的,发现中间 attention 层才是更好的估计层,并提出 Rank 和 Vote 两种新的跨层聚合策略以及 Noise Detection Rate (NDR) proxy 指标,显著改善了 LLM 中有害训练样本的检测效果。
🔍 信息检索/RAG (31)¶
- AMemGym: Interactive Memory Benchmarking for Assistants in Long-Horizon Conversations
-
提出AMemGym——首个支持on-policy交互式评估的长程对话记忆基准环境,通过结构化数据采样(用户画像→状态演化→个性化问答)驱动LLM模拟用户进行角色扮演,揭示了off-policy评估的排名偏差问题,并系统诊断了RAG/长上下文/Agent记忆系统的write/read/utilization三阶段失败模式。
- Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation
-
提出ARC-JSD方法,通过计算完整上下文与逐句消融上下文下的响应分布的Jensen-Shannon散度,在无需微调、梯度计算或代理模型的情况下实现高效精准的RAG上下文归因,并结合Logit Lens进行机制分析,定位负责上下文归因的注意力头和MLP层,通过门控操作降低约39%的幻觉率。
- Attribution-Guided Decoding
-
提出AGD解码策略,在每步生成时从高概率候选token中选择对用户指定"兴趣区域"(ROI)归因得分最高的token,将归因方法从被动分析工具转变为主动生成引导工具,在指令遵循和事实性任务上均取得显著提升。
- Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation
-
将位置编码重新表述为贝叶斯注意力机制中的先验分布,统一了 NoPE(均匀先验)和 ALiBi(拉普拉斯先验),并提出广义高斯先验(GGD-BAM),仅增加 384 个参数即可在 500 倍训练长度上实现完美的 passkey 检索。
- Beyond RAG vs. Long-Context: Learning Distraction-Aware Retrieval for Efficient Knowledge Grounding
-
提出 LDAR(Learning Distraction-Aware Retrieval),一个轻量级自适应检索器,通过学习基于查询-段落相似度分布选择段落的连续区间(band),在平衡信息覆盖与干扰段落影响的同时,以约一半的 token 用量超越长上下文方法的性能。
- BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs
-
提出 BTZSC 基准(22 个数据集),首次在统一零样本协议下系统比较 NLI 交叉编码器、嵌入模型、Reranker 和指令微调 LLM 四大模型家族(共 38 个模型),发现 Qwen3-Reranker-8B 以 macro F1=0.72 取得新 SOTA,嵌入模型在精度-延迟权衡上最优。
- Digging Deeper: Learning Multi-Level Concept Hierarchies
-
本文提出 Multi-Level Concept Splitting(MLCS)将概念分裂过程从单层递归扩展到多层,仅用顶层概念标注就能自动发现任意深度的概念层级树,并设计 Deep-HiCEMs 架构来表示和利用这些深层层级,实现多粒度的测试时概念干预。
- Efficient Discriminative Joint Encoders for Large Scale Vision-Language Re-ranking
-
提出EDJE(高效判别式联合编码器),通过将视觉特征提取离线化并用轻量级注意力适配器压缩视觉Token,实现50k图文对/秒的高吞吐推理,同时在Flickr(零样本)和COCO(微调)检索上匹配现有联合编码器的性能,每张图仅需49kB存储。
- Embedding-Based Context-Aware Reranker
-
提出 EBCAR,一个基于嵌入空间的轻量级重排序框架,通过文档 ID 嵌入和段落位置编码引入结构信息,结合共享全注意力 + 专用掩码注意力的混合机制实现跨段落推理,在 ConTEB 基准上以 126M 参数达到最优平均 nDCG@10,推理速度比 LLM 重排器快 150 倍以上。
- Fine-tuning with RAG for Improving LLM Learning of New Skills
-
提出将 RAG 从推理时的永久依赖转化为训练时的教师信号:从 agent 失败中提取 hint、用 hint 增强的教师生成更优轨迹、然后移除 hint 蒸馏到学生模型,使学生内化检索增益而无需运行时 RAG,在 ALFWorld 达到 91% 成功率(基线 79%),WebShop 分数达 72(基线 61)。
💻 代码智能 (19)¶
- A Problem-Oriented Perspective and Anchor Verification for Code Optimization
-
提出以问题为导向(而非用户为导向)的优化对构建方法来整合多程序员的策略多样性,并设计锚点验证框架利用"慢但正确的代码"生成测试用例来缓解"优化税"(正确性损失),将优化比从 31.24% 提升到 71.06%,加速比从 2.95x 提升到 6.08x。
- Ambig-SWE: Interactive Agents to Overcome Underspecificity in Software Engineering
-
构建 Ambig-SWE(基于 SWE-Bench Verified 的欠指定变体),系统评估 LLM 编程 agent 在三个维度上的交互能力——检测欠指定、提出澄清问题、利用交互信息——发现交互可将欠指定场景下的解决率提升最高 74%,但模型默认非交互行为且难以区分指定充分/不足的指令。
- Breaking the SFT Plateau: Multimodal Structured Reinforcement Learning for Chart-to-Code Generation
-
针对图表到代码生成任务中SFT的性能瓶颈问题,提出多模态结构化强化学习(MSRL),通过文本+视觉双层奖励函数和两阶段RL策略,在ChartMimic和ReachQA上分别提升6.2%和9.9%的高层指标,达到开源SOTA并媲美GPT-4o。
- CARD: Towards Conditional Design of Multi-agent Topological Structures
-
CARD提出了一种条件图生成框架(Conditional Agentic Graph Designer),通过条件变分图编码器和环境感知优化,根据模型能力、工具可用性和知识源变化等动态环境信号自适应地设计多Agent通信拓扑结构,在HumanEval、MATH和MMLU上一致超越静态和基于提示的基线方法。
- DiaBlo: Diagonal Blocks Are Sufficient For Finetuning
-
提出 DiaBlo——一种用对角块更新替代低秩分解的参数高效微调方法:将权重矩阵划分为 \(N \times N\) 块后只训练对角块 \(\mathbf{D}_1, \ldots, \mathbf{D}_N\),彻底绕开 LoRA 中 \(\mathbf{AB}\) 乘积带来的非凸优化、初始化敏感与梯度不稳定问题,零初始化即可收敛,PyTorch 一行
torch.einsum实现 batched matmul,理论证明同参数预算下表达力严格优于 LoRA,在常识推理、算术推理、代码生成、安全对齐四大任务及 4-bit/2-bit 量化场景全面领先。 - DRO-InstructZero: Distributionally Robust Prompt Optimization for Large Language Models
-
将分布鲁棒优化(DRO)引入 InstructZero 的贝叶斯优化框架,通过在 f-divergence 球定义的模糊集上最大化最坏情况期望效用,使自动搜索得到的 prompt 在分布偏移下仍能保持可靠性能。
- Execution-Grounded Credit Assignment for GRPO in Code Generation
-
提出 EGCA(Execution-Grounded Credit Assignment),通过执行追踪定位程序中最早的语义偏差位置,将 GRPO 的梯度集中到因果 token span 上,解决代码生成中粗粒度信用分配问题,在 HumanEval 上达到 82.1% pass@1。
- Improving Code Localization with Repository Memory
-
通过利用代码仓库的 commit 历史构建情景记忆(过去 commit)和语义记忆(活跃代码功能摘要),增强语言代理的代码定位能力,在 SWE-bench 上取得显著提升。
- IMSE: Intrinsic Mixture of Spectral Experts Fine-tuning for Test-Time Adaptation
-
提出 IMSE——将预训练 ViT 线性层通过 SVD 分解为"谱专家",仅微调奇异值实现极端参数高效的测试时适应,并通过多样性最大化损失和域感知谱码检索机制,在 TTA/CTTA/渐进 CTTA 三种场景下达到 SOTA。
- Inference-Time Safety for Code LLMs via Retrieval-Augmented Revision
-
提出 SOSecure,一种无需重训练的推理时安全机制,通过 BM25 从 Stack Overflow 安全讨论知识库中检索与 LLM 生成代码相关的社区安全警告,引导模型在推理阶段自主修订不安全代码,在三个真实数据集上实现高达 96.7% 的漏洞修复率且零新漏洞引入。
🗣️ 对话系统 (5)¶
- AQuA: Toward Strategic Response Generation for Ambiguous Visual Questions
-
提出 AQuA,首个按模糊度细粒度分级(4 级)的视觉问答数据集(7.2K 样本),为每级定义最优回应策略(直接回答/推断/列举/请求澄清),发现 GPT-5 和 Gemini 在模糊 VQA 上都过度自信地直接回答,通过 SFT+GRPO 训练的 3B 模型反而能超越闭源大模型的策略适应能力。
- Non-Collaborative User Simulators for Tool Agents
-
基于marketing研究定义四类非协作用户行为(不可用服务/跑题闲聊/不耐烦/不完整表述),构建了可保持goal-alignment的模拟框架,在MultiWOZ和τ-bench上系统暴露了SOTA工具Agent的行为特异性失败机制——跑题闲聊导致平均SR下降29.1%,且不同模型呈现截然不同的崩溃路径(GPT系列陷入helper API重复调用,Qwen系列倾向于幻觉编造API结果)。
- ReIn: Conversational Error Recovery with Reasoning Inception
-
提出 Reasoning Inception(ReIn),一种无需修改模型参数或系统提示的测试时干预方法,通过外部 inception 模块检测对话错误并将恢复计划注入任务 agent 的推理链中,在多种错误场景下显著提升对话任务完成率,且可泛化至未见错误类型。
- Think-While-Generating: On-the-Fly Reasoning for Personalized Long-Form Generation
-
FlyThinker 提出了一种高效的 "think-while-generating" 框架,使用独立的推理模型(Reasoner)在 token 级别并行生成潜在推理信号,动态融入生成模型(Generator)以指导个性化长文本生成,同时保持训练和推理效率。
- Understanding Language Prior of LVLMs by Contrasting Chain-of-Embedding
-
通过对比有/无视觉输入的逐层隐藏表征(chain-of-embedding),发现LVLM中存在一个"视觉整合点"(VIP)层,并据此提出Total Visual Integration (TVI)指标来量化语言先验的强度。
🌐 多语言/翻译 (5)¶
- ASSESS: A Semantic and Structural Evaluation Framework for Statement Similarity
-
提出 ASSESS 框架,其核心是 TransTED Similarity 指标——通过将形式化数学命题解析为算子树 (Operator Tree),并在标准树编辑距离 (TED) 基础上融入 Lean 证明策略驱动的语义变换,实现了在 EPLA 基准上 70.16% 准确率和 0.35 Kappa 分数的 SOTA 性能,同时仅需 CPU 资源即可复现。
- ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality
-
提出 Adaptive Transfer Scaling Law (ATLAS),通过将有效数据量分解为目标语言、迁移语言和其他语言三项并引入数据重复饱和函数,在774个多语言训练实验(10M–8B参数、400+语言)上显著优于现有scaling law(多语言 \(R^2\) 从0.67提升至0.98),并系统量化了跨语言迁移矩阵、多语言诅咒的容量约束以及预训练vs微调的计算交叉点。
- From Utterance to Vividity: Training Expressive Subtitle Translation LLM via Adaptive Local Preference Optimization
-
提出ALPO(自适应局部偏好优化)用于训练表达力强的字幕翻译LLM:通过实证发现字幕翻译偏好意译且推理型LLM意译能力优于对话型LLM -> 验证LLM作为翻译评估器与人类高度一致 -> 提出逐句段的细粒度过程监督偏好对齐方法(自适应权重+动态beta+前缀混合) -> 14B模型在多方向字幕翻译的鲜活度上超越GPT-4o/DeepSeek-R1等SOTA。
- Multilingual Routing in Mixture-of-Experts
-
系统分析了MoE大语言模型中多语言路由模式,发现中间层存在跨语言共享专家且语言性能与英语路由对齐度强相关,进而提出推理时路由干预方法,通过在中间层激活英语任务专家,在3个模型×2个任务×15+语言上一致性地提升多语言性能1-2%。
- SASFT: Sparse Autoencoder-guided Supervised Finetuning to Mitigate Unexpected Code-Switching in LLMs
-
利用稀疏自编码器(SAE)发现 LLM 中意外语言切换与目标语言特征异常高预激活值相关,提出 SASFT 方法在 SFT 训练中约束语言特征预激活值,将意外代码切换降低 50% 以上。
✍️ 文本生成 (2)¶
- FS-DFM: Fast and Accurate Long Text Generation with Few-Step Diffusion Language Model
-
提出 FS-DFM(Few-Step Discrete Flow-Matching),通过步数感知训练和累积标量更新规则,将离散 flow-matching 语言模型的采样步数从 1024 步降低到 8 步,实现 128 倍加速,同时保持相当的困惑度和生成质量。
- Rethinking Uncertainty Estimation in LLMs: A Principled Single-Sequence Measure
-
从 proper scoring rules 框架出发,证明最高概率输出序列的负对数似然(MSP)是理论上合理的不确定性度量,并提出 G-NLL——仅用一次贪心解码就能逼近该度量,在多个场景下匹配或超越需要多次采样的 SOTA 方法。
📖 NLP 理解 (1)¶
- What's the Plan? Metrics for Implicit Planning in LLMs and Their Application to Rhyme Generation and Question Answering
-
提出 mean activation difference steering 方法和配套定量指标,在韵律诗生成和问答两个案例上跨 23 个开放模型(1B-32B)系统性证明:目标 token(韵脚/答案)的表示在序列早期位置已形成(前向规划),且因果性地影响中间 token 生成(后向规划)——隐式规划从 1B 模型即出现,是普遍机制而非大模型专属。
🎨 图像生成 (138)¶
- A Hidden Semantic Bottleneck in Conditional Embeddings of Diffusion Transformers
-
对扩散 Transformer 的条件嵌入进行首次系统分析,发现极端的角度相似性(类间余弦相似度>99%)和维度稀疏性(仅 1-2% 的维度携带语义信息),裁剪掉 2/3 的低幅维度后生成质量基本不变,揭示了条件嵌入中隐藏的语义瓶颈。
- AlignTok: Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models
-
提出 AlignTok,将预训练视觉基础编码器(如 DINOv2)对齐为扩散模型的连续 tokenizer,通过三阶段对齐策略(语义潜空间建立→感知细节补充→解码器精炼)构建语义丰富的潜空间,在 ImageNet 256×256 上 64 epochs 即达 gFID 1.90,比从头训练 VAE 收敛更快、生成质量更好。
- Amortising Inference and Meta-Learning Priors in Neural Networks (BNNP)
-
提出 BNNP(Bayesian Neural Network Process),一种将 BNN 权重作为隐变量、BNN 本身作为解码器的 neural process,通过逐层 amortised variational inference 在多数据集上联合学习 BNN 先验和推断网络,首次回答了"在良好先验下,近似推断方法还重要吗?"——答案是肯定的,没有免费午餐。
- Asynchronous Denoising Diffusion Models for Aligning Text-to-Image Generation
-
AsynDM 通过为不同像素分配不同的时间步调度(prompt 相关区域去噪更慢),使其能利用更清晰的上下文参考,从而在不需要微调的情况下显著提升文图生成的语义对齐。
- Autoregressive Image Generation with Randomized Parallel Decoding
-
本文提出 ARPG,一种基于"引导解码"框架的视觉自回归模型,通过将位置引导(query)与内容表示(key-value)解耦,实现了完全随机顺序的训练与生成,并支持高效并行解码——在ImageNet-1K 256×256上以64步达到1.94 FID,吞吐量提升20倍以上,内存消耗降低75%以上。
- Beyond Confidence: The Rhythms of Reasoning in Generative Models
-
提出 Token Constraint Bound (\(\delta_{\text{TCB}}\)) 指标,通过量化 LLM 隐状态在多大扰动范围内能保持 next-token 预测不变,来度量预测的局部鲁棒性,揭示了传统 perplexity 无法捕捉的预测不稳定性。
- Blueprint-Bench: Comparing Spatial Intelligence of LLMs, Agents and Image Models
-
Blueprint-Bench 通过"从公寓室内照片生成 2D 平面图"的任务评测 AI 的空间推理能力:输入(照片)完全在训练分布内但任务(空间重建)在分布外。评测 GPT-5、Claude 4 Opus、Gemini 2.5 Pro、Grok-4 等 LLM,GPT-Image、NanoBanana 等图像生成模型,以及 Codex CLI、Claude Code 等 Agent 系统,结果显示绝大多数模型表现接近或低于随机基线,揭示当前 AI 在空间智能上的系统性盲区。
- Branched Schrödinger Bridge Matching
-
提出 BranchSBM 框架,通过参数化多个时间依赖的速度场和增长过程,将 Schrödinger Bridge Matching 扩展到分支场景,能够建模从单一初始分布到多个目标分布的分叉动态轨迹,在 LiDAR 表面导航和单细胞扰动建模等任务上显著优于单分支方法。
- Bridging Degradation Discrimination and Generation for Universal Image Restoration
-
BDG 通过多角度多尺度灰度共生矩阵(MAS-GLCM)进行细粒度退化判别,并设计三阶段扩散训练(生成→桥接→修复)将退化判别能力与生成先验无缝融合,在 all-in-one 修复和真实世界超分辨率任务上取得显著的保真度提升。
- Bridging Generalization Gap of Heterogeneous Federated Clients Using Generative Models
-
FedVTC 提出在模型异构联邦学习中,各客户端通过变分转置卷积网络(VTC)从聚合的特征分布统计量中生成合成数据来微调本地模型,无需公共数据集即可显著提升泛化能力,同时降低通信和内存开销。
🧩 多模态 VLM (85)¶
- A-TPT: Angular Diversity Calibration Properties for Test-Time Prompt Tuning of Vision-Language Models
-
提出 A-TPT 框架,通过最大化归一化文本特征在单位超球面上的最小成对角距离来促进角度多样性,解决测试时提示调优 (TPT) 中 VLM 预测过度自信导致的校准不良问题,在自然分布偏移和医学数据集上均优于现有 TPT 校准方法。
- BioCAP: Exploiting Synthetic Captions Beyond Labels in Biological Foundation Models
-
提出 BioCAP,通过用 MLLM 生成 wiki 知识引导的合成描述性 caption(而非仅用物种标签)来训练生物学多模态基础模型,在 10 个物种分类 benchmark 上比 BioCLIP 平均提升 8.8%,在文本-图像检索任务上提升 21.3%。
- Bongard-RWR+: Real-World Representations of Fine-Grained Concepts in Bongard Problems
-
构建 Bongard-RWR+,一个包含 5400 个 Bongard 问题的 benchmark,使用 VLM 流水线(Pixtral-12B + Flux.1-dev)自动生成真实感图像来表示抽象概念,系统评估揭示 SOTA VLM 在辨别细粒度视觉概念(如轮廓、旋转、角度)时表现挣扎,准确率低至 19%。
- Breaking the Limits of Open-Weight CLIP: An Optimization Framework for Self-supervised Fine-tuning of CLIP
-
本文提出 TuneCLIP,一个自监督微调(SSFT)框架,通过两阶段设计——先恢复优化器统计量(OSR)消除冷启动偏差,再用带margin的铰链全局对比损失(HGCL)缓解假负样本过度惩罚——在不使用任何标签的条件下持续提升已有开源 CLIP 模型的通用性能,在 ImageNet 及变体上提升最高 +2.5%,在 DataComp 基准上提升 +1.2%。
- Can Vision-Language Models Answer Face to Face Questions in the Real-World?
-
提出 QIVD(Qualcomm Interactive Video Dataset),一个面对面实时问答 benchmark(2900 个视频+音频+时间戳标注),揭示现有 VLM 在实时情境理解上远落后人类(最佳模型 60% vs 人类 87%),主要瓶颈在指代消歧、回答时机判断和情境常识,微调可显著缩小差距。
- Capacity-Aware Inference: Mitigating the Straggler Effect in Mixture of Experts
-
针对 MoE 推理时因 token 分配不均导致的 Straggler Effect(最重负载专家决定整体延迟),提出 Capacity-Aware Token Drop(丢弃过载专家的低分 token)和 Expanded Drop(将溢出 token 重路由到本地低负载专家),在 Mixtral-8×7B 上实现 1.85× 加速且性能提升 0.2%。
- CityLens: Evaluating Large Vision-Language Models for Urban Socioeconomic Sensing
-
构建 CityLens——迄今最大规模的城市社会经济感知 benchmark(17 城市、6 大领域、11 个预测任务),评估 17 个 LVLM 在直接预测、归一化估计、特征回归三种范式下从卫星/街景图像推断社会经济指标的能力,发现通用 LVLM 在多数任务上仍不及领域特化的对比学习方法。
- Closing the Modality Gap Aligns Group-Wise Semantics
-
证明 CLIP 中的 modality gap 对实例级任务(检索)无关紧要但严重损害群组级任务(聚类),并提出由 Align True Pairs loss + Centroid Uniformity loss 组成的新目标函数,在双模态和三模态设置中将 gap 几乎降为零,大幅提升聚类 V-Measure(+10-17 分),同时保持检索性能。
- Constructive Distortion: Improving MLLMs with Attention-Guided Image Warping
-
提出 AttWarp,一种即插即用的测试时图像变形方法,利用 MLLM 自身的跨模态注意力图进行矩形网格重采样,
- Contamination Detection for VLMs using Multi-Modal Semantic Perturbation
-
提出多模态语义扰动框架检测VLM数据污染:用LLM生成密集描述 + Flux ControlNet在保持图像构图的同时改变答案相关语义元素,污染模型因记忆原始图文对而在扰动版本上表现骤降,干净模型则因真正推理能力而不受影响。首次系统验证现有LLM污染检测方法在VLM场景下大多不可靠。
🎵 音频/语音 (34)¶
- AC-Foley: Reference-Audio-Guided Video-to-Audio Synthesis with Acoustic Transfer
-
提出 AC-Foley,一种参考音频引导的视频到音频合成框架,通过两阶段训练(声学特征学习+时序适应)和多模态条件流匹配实现了细粒度音色控制、音色迁移和零样本音效生成,在音频质量和声学保真度上显著优于现有方法。
- AVERE: Improving Audiovisual Emotion Reasoning with Preference Optimization
-
针对多模态大语言模型在情感推理中的虚假关联和幻觉问题,提出 EmoReAlM 评测基准和 AVEm-DPO 偏好优化方法,通过构建针对性偏好对和文本先验正则化,在 DFEW/RAVDESS/EMER 上实现 6-19% 的零样本相对性能提升。
- Discovering and Steering Interpretable Concepts in Large Generative Music Models
-
首次将 Sparse Autoencoder (SAE) 应用于音频/音乐领域,从自回归音乐生成模型 MusicGen 的残差流中提取可解释的音乐概念特征,并利用这些特征实现可控生成(steering)。
- Dynamic Parameter Memory: Temporary LoRA-Enhanced LLM for Long-Sequence Emotion Recognition in Conversation
-
提出 Dynamic Parameter Memory (DPM) 机制,在推理阶段通过逐句将语音信息编码到临时 LoRA 模块的参数空间中,使有限上下文窗口的语音大语言模型能够处理无限长度的情感对话音频,在 IEMOCAP 和 MELD 上达到 SOTA。
- EchoMind: An Interrelated Multi-level Benchmark for Evaluating Empathetic Speech Language Models
-
提出 EchoMind,首个面向共情对话的多层级关联基准,通过理解→推理→对话的认知流程,系统评估 Speech Language Models 感知非语言声学线索并生成共情回复的能力。
- Efficient Audio-Visual Speech Separation with Discrete Lip Semantics and Multi-Scale Global-Local Attention
-
提出 Dolphin 模型,通过双路径轻量视频编码器 DP-LipCoder 将唇部运动映射为离散语义 token,并设计全局-局部注意力(GLA)分离器,在三个基准上超越 SOTA 同时参数减少 50%+、MACs 降低 2.4×、GPU 推理加速 6×。
- EmotionThinker: Prosody-Aware Reinforcement Learning for Explainable Speech Emotion Reasoning
-
首次将语音情感识别(SER)重构为深度推理问题,通过韵律增强基座模型 + GRPO-PTR(渐进式可信推理奖励)强化学习,生成带有声学依据的可解释情感推理。
- FlexiCodec: A Dynamic Neural Audio Codec for Low Frame Rates
-
提出 FlexiCodec,通过 ASR 特征引导的动态帧率合并策略,在 3–12.5Hz 超低帧率下实现高质量语音编解码,同时保持优异的语义信息保留能力。
- Flow2GAN: Hybrid Flow Matching and GAN with Multi-Resolution Network for Few-step High-Fidelity Audio Generation
-
提出两阶段训练框架Flow2GAN,先用改进的Flow Matching学习生成能力,再用GAN微调实现少步(1/2/4步)高保真音频生成,结合多分辨率网络架构处理不同时频分辨率的傅里叶系数。
- Human Behavior Atlas: Benchmarking Unified Psychological and Social Behavior Understanding
-
构建 Human Behavior Atlas——首个覆盖情感、认知、病理和社会过程四大维度的大规模多模态行为理解统一基准(101K+ 样本),并训练三种 OmniSapiens-7B 模型变体验证其在多任务训练和迁移学习中的有效性。
🎬 视频生成 (19)¶
- Arbitrary Generative Video Interpolation
-
ArbInterp 提出了一种支持任意时间戳、任意长度的生成式视频帧插值框架,通过时间戳感知旋转位置编码(TaRoPE)实现精准时间控制,并通过外观-运动解耦的条件注入策略实现长序列的无缝拼接。
- BindWeave: Subject-Consistent Video Generation via Cross-Modal Integration
-
BindWeave 用多模态大语言模型(MLLM)替代传统的浅层融合机制来解析多主体复杂文本指令,生成主体感知的隐状态作为 DiT 的条件信号,结合 CLIP 语义特征和 VAE 细粒度外观特征,实现高保真、主体一致的视频生成。
- DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving
-
DrivingGen 提出首个面向自动驾驶视频世界模型的综合性基准,包含跨天气/地域/时间/复杂场景的多样化评估数据集和四维度评估指标体系(分布、质量、时序一致性、轨迹对齐),对 14 个 SOTA 模型的评测揭示了通用模型与驾驶专用模型之间的核心权衡。
- Dual-IPO: Dual-Iterative Preference Optimization for Text-to-Video Generation
-
提出 Dual-IPO 框架,通过在奖励模型和视频生成模型之间进行多轮双向迭代优化,无需大量人工标注即可持续提升文本到视频生成的质量和人类偏好对齐,甚至让 2B 模型超越 5B 模型。
- Frame Guidance: Training-Free Guidance for Frame-Level Control in Video Diffusion Models
-
提出 Frame Guidance,一种无需训练的帧级引导方法,通过 latent slicing(降低 60× 显存)和 Video Latent Optimization(VLO)两个核心组件,在不修改模型的情况下实现关键帧引导、风格化和循环视频等多种可控视频生成任务。
- Geometry-aware 4D Video Generation for Robot Manipulation
-
本文提出几何感知的4D视频生成框架,通过跨视角点图对齐监督训练视频扩散模型,联合预测RGB和点图实现时空一致的多视角RGB-D视频,无需相机位姿输入即可在新视角下生成一致视频并用现成6DoF位姿追踪器恢复机器人末端轨迹。
- JavisDiT: Joint Audio-Video Diffusion Transformer with Hierarchical Spatio-Temporal Prior Synchronization
-
提出 JavisDiT,基于 DiT 架构的音视频联合生成模型,通过层级化时空同步先验估计器(HiST-Sypo)实现细粒度的音视频时空对齐;同时构建了新基准 JavisBench(10K 复杂场景样本)和新评估指标 JavisScore。
- JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation
-
提出 JavisDiT++,一个面向联合音视频生成(JAVG)的简洁统一框架,通过模态特定 MoE 提升生成质量、时间对齐 RoPE 实现帧级同步、音视频 DPO 对齐人类偏好,基于 Wan2.1-1.3B 仅用约 1M 公开数据即达到 SOTA。
- Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control
-
提出RoboMaster框架,通过协作轨迹(collaborative trajectory)将机器人-物体交互过程分解为前交互、交互中、后交互三阶段,结合外观和形状感知的物体嵌入,实现高质量的机器人操作视频生成。
- LoRA-Edit: Controllable First-Frame-Guided Video Editing via Mask-Aware LoRA Fine-Tuning
-
提出 LoRA-Edit,利用时空 mask 引导 LoRA 微调预训练 I2V 模型,实现可控的首帧引导视频编辑——mask 同时作为编辑区域指令和 LoRA 学习内容的引导信号,支持运动继承和外观控制。
🔎 AIGC 检测 (6)¶
- Calibrating Verbalized Confidence with Self-Generated Distractors
-
提出 DiNCo 方法,通过让 LLM 独立评估自动生成的干扰选项(合理但错误的替代答案)来暴露其"暗示性偏差",用干扰项上的总置信度进行归一化,并融合生成一致性与验证一致性两个互补维度,在短文本 QA 和长文本生成任务上显著改善置信度校准。
- CLARC: C/C++ Benchmark for Robust Code Search
-
构建首个可编译的 C/C++ 代码检索基准 CLARC(6717 查询-代码对),自动化 pipeline 从 GitHub 提取代码并用 LLM+假设检验生成/验证查询;覆盖标准/匿名化/汇编/WebAssembly 四种检索场景,揭示现有代码嵌入模型过度依赖词汇特征(匿名化后 NDCG@10 从 0.89 降至 0.67)且在二进制级别检索上严重不足。
- Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity
-
通过 26 位专业作家对 8618 条表达的 close reading 标注,揭示 n-gram 新颖度不足以衡量文本创造力——约 91% 的高 n-gram 新颖表达并不被认为具有创造性,且开源 LLM 中高 n-gram 新颖度与低语用合理性负相关。
- DMAP: A Distribution Map for Text
-
提出 DMAP(Distribution Map),一种将文本经由语言模型的 next-token 概率排序映射为 \([0,1]\) 区间上 i.i.d. 样本的数学框架,理论证明纯采样文本产生均匀分布,由此可用 \(\chi^2\) 检验验证生成参数、揭示概率曲率类检测器在纯采样下彻底失效的根本原因,并可视化后训练(SFT/RLHF)在下游模型中留下的统计指纹。
- Is Your Paper Being Reviewed by an LLM? Benchmarking AI Text Detection in Peer Review
-
构建了迄今最大的 AI 生成同行评审数据集(788,984 篇评审),系统评估了 18 种 AI 文本检测方法在同行评审场景下的表现,并提出了利用论文原文作为上下文的 Anchor 检测方法,在低误报率下大幅超越所有基线。
- PoliCon: Evaluating LLMs on Achieving Diverse Political Consensus Objectives
-
基于欧洲议会2009-2022年2225条高质量审议记录构建PoliCon基准,评估LLM在不同投票机制、权力结构和政治目标下起草共识决议的能力。结果显示前沿模型在简单多数任务表现尚可,但在2/3多数和安全议题上显著不足。
🧊 3D 视觉 (62)¶
- 3DGEER: 3D Gaussian Rendering Made Exact and Efficient for Generic Cameras
-
提出 3DGEER 框架,通过推导沿光线积分高斯密度的闭式解、设计粒子包围截锥体 (PBF) 进行精确高效的光线-粒子关联、以及引入双极等角投影 (BEAP) 统一宽视场相机表示,在任意相机模型下实现了几何精确且实时高效的 3D 高斯渲染,在鱼眼和针孔数据集上全面超越现有方法。
- A Step to Decouple Optimization in 3DGS
-
深入分析 3DGS 优化中被忽视的更新步耦合(不可见视点下的隐式更新和动量重缩放)和梯度耦合(正则化与光度损失在 Adam 动量中的耦合),通过解耦和重组提出 AdamW-GS 优化器,在不引入额外剪枝操作的情况下同时提升重建质量和减少冗余原语。
- AssetFormer: Modular 3D Assets Generation with Autoregressive Transformer
-
提出 AssetFormer,基于 Llama 架构的自回归 Transformer,将模块化 3D 资产(由 primitive 序列组成)建模为离散 token 序列,通过 DFS/BFS 图遍历重排序和联合词汇表解码实现从文本描述生成可直接用于游戏引擎的模块化 3D 资产。
- Augmented Radiance Field: A General Framework for Enhanced Gaussian Splatting
-
提出增强辐射场 (Augmented Radiance Field) 框架,通过设计具有视角相关不透明度的增强高斯核来显式建模高光分量,并引入误差驱动的补偿策略(2D 高斯初始化 → 逆投影至 3D → 联合优化),作为后处理即插即用地增强现有 3DGS 场景,在多个数据集上超越 SOTA NeRF 方法,同时仅需二阶球谐即可捕获复杂光照。
- CloDS: Visual-Only Unsupervised Cloth Dynamics Learning in Unknown Conditions
-
CloDS 提出首个从多视角视频中无监督学习布料动力学的框架,通过 Spatial Mapping Gaussian Splatting 建立 2D 图像到 3D 网格的可微映射,结合双位置不透明度调制解决自遮挡问题,使 GNN 在无物理参数监督下就能学到接近全监督水平的布料动力学。
- Color3D: Controllable and Consistent 3D Colorization with Personalized Colorizer
-
Color3D 提出"只上色一张关键视角→微调个性化 colorizer→传播颜色到所有视角和时间步"的范式,将复杂的 3D 上色问题转化为单图上色+颜色传播问题,在静态和动态 3D 场景上都实现了丰富色彩、跨视角一致性和用户可控性的统一。
- COOPERTRIM: Adaptive Data Selection for Uncertainty-Aware Cooperative Perception
-
提出 CooperTrim 自适应特征选择框架,通过共形时序不确定性度量评估特征相关性,并用数据驱动机制动态决定共享数量,在协同语义分割中实现 80.28% 带宽降低且性能可比,首次将选择性共享应用于协同分割任务。
- CORE-3D: Context-aware Open-vocabulary Retrieval by Embeddings in 3D
-
提出CORE-3D,一个无需训练的开放词汇3D语义分割与自然语言目标检索流水线,通过渐进式粒度掩码生成、上下文感知CLIP编码和多视角3D融合,在Replica和ScanNet上超越现有方法。
- CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives
-
提出 CRISP,一种从单目视频中恢复可仿真人体运动和场景几何的方法,通过拟合平面原语获取干净的仿真就绪几何体,结合人体-场景接触建模重建被遮挡区域,将人形控制器的运动追踪失败率从 55.2% 降至 6.9%。
- Ctrl&Shift: High-Quality Geometry-Aware Object Manipulation in Visual Generation
-
提出Ctrl&Shift,一个端到端扩散框架,通过将物体操纵分解为物体移除+参考引导修复,并注入相对相机位姿控制,首次在不依赖显式3D重建的情况下实现几何一致的细粒度物体操纵。
🖼️ 图像恢复 (15)¶
- Activation Steering for Masked Diffusion Language Models
-
首次将激活引导(activation steering)应用于 Masked Diffusion 语言模型(MDLM),发现 MDLM 的拒绝行为也受单一低维方向控制,通过在去噪过程中全局投影可完全绕过安全对齐,且与自回归模型不同,有效方向可从指令前的 token 中提取——反映了扩散模型的非因果并行处理特性。
- Are Deep Speech Denoising Models Robust to Adversarial Noise?
-
首次系统性评估 4 款 SOTA 深度语音去噪(DNS)模型在对抗噪声下的鲁棒性:通过心理声学约束的 PGD 攻击生成人耳不可感知的对抗噪声,可令 Demucs、Full-SubNet+、FRCRN 和 MP-SENet 输出完全不可理解的 gibberish,实验覆盖多种声学条件和人类评估,同时揭示了目标攻击、通用扰动和跨模型迁移的局限性。
- Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes
-
LSP 调度器通过在每个去噪步骤中原子性地提交最长连续稳定前缀(而非分散接受离散 token),将 DLM 推理加速 3.4 倍,同时保持或略微提升输出质量。
- Breaking Scale Anchoring: Frequency Representation Learning for Accurate High-Resolution Inference from Low-Resolution Training
-
定义了"Scale Anchoring"新问题(低分辨率训练导致高分辨率推理误差锚定),并提出架构无关的频率表征学习(FRL),通过 Nyquist 归一化频率编码使误差随分辨率提升而下降,在 8 种主流架构上验证有效。
- DiffusionBlocks: Block-wise Neural Network Training via Diffusion Interpretation
-
提出 DiffusionBlocks,将残差网络的逐层更新解释为连续时间扩散过程的离散化步骤,从而将网络切分为可完全独立训练的 block,在保持端到端训练性能的同时按 block 数 B 倍减少训练显存。
- Generalizing Linear Autoencoder Recommenders with Decoupled Expected Quadratic Loss
-
将 EDLAE 推荐模型的目标函数推广为解耦期望二次损失(DEQL),在超参数 \(b>0\) 的更广范围内推导出闭式解,并通过 Miller 矩阵逆定理将计算复杂度从 \(O(n^4)\) 降至 \(O(n^3)\),在多个基准数据集上超越 EDLAE 和深度学习模型。
- Horizon Imagination: Efficient On-Policy Rollout in Diffusion World Models
-
提出 Horizon Imagination (HI):让扩散世界模型在单次前向里并行去噪多帧未来观测,配合稳定动作采样抑制带噪帧上动作的无谓翻转、Horizon 时间表把去噪节奏与总预算解耦,从而在每帧不足一步去噪(sub-frame 预算)、算力减半下仍保持 on-policy 想象的控制性能。
- InterActHuman: Multi-Concept Human Animation with Layout-Aligned Audio Conditions
-
提出 InterActHuman,通过自动推断时空布局的掩码预测器和迭代掩码引导策略,实现多人/人物交互场景下的音频驱动视频生成,支持每个角色独立的语音驱动口型同步和身体动作。
- Learning Domain-Aware Task Prompt Representations for Multi-Domain All-in-One Image Restoration
-
提出首个多域全能图像复原方法DATPRL-IR,通过双提示池(任务提示池+域提示池)学习域感知的任务提示表征,利用MLLM蒸馏域先验并通过自适应门控融合指导复原,在自然/医学/遥感三域9任务上显著超越SOTA。
- Mechanism of Task-oriented Information Removal in In-context Learning
-
从"信息移除"的新视角解释 In-context Learning(ICL)的内部机制:发现 LM 在零样本时将查询编码为包含所有可能任务信息的"非选择性表征"(导致随机输出),而 few-shot ICL 的核心作用是模拟一种"任务导向的信息移除"过程——通过识别出的"Denoising Heads"(去噪注意力头)从纠缠的表征中选择性移除冗余任务信息,引导模型聚焦目标任务。消融实验证实阻断去噪头后 ICL 准确率显著下降。
🎯 目标检测 (14)¶
- Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting (WS-COC)
-
提出 WS-COC,首个基于 MLLM 的弱监督类无关目标计数框架,通过分而治之的对话微调(逐步缩小计数范围)、比较排序优化(学习图像间相对计数关系)和全局-局部计数增强三个策略,仅用图像级计数标注即可匹敌甚至超越全监督方法。
- CGSA: Class-Guided Slot-Aware Adaptation for Source-Free Object Detection
-
首次将 Object-Centric Learning(Slot Attention)引入无源域自适应目标检测(SF-DAOD),通过分层 Slot 感知模块提取域不变的目标级结构先验,并用类引导对比学习驱动域不变表征,在多个跨域基准上大幅超越现有方法。
- CLIP Behaves like a Bag-of-Words Model Cross-modally but not Uni-modally
-
通过线性探测实验证明 CLIP 的 BoW(词袋)行为并非源于编码器缺乏绑定信息,而是跨模态对齐的失败;提出 LABCLIP,仅训练一个轻量线性变换即可显著恢复属性-对象绑定能力。
- Contextual and Seasonal LSTMs for Time Series Anomaly Detection
-
针对单变量时间序列中现有方法难以检测的"小幅点异常"和"缓慢上升异常",提出 CS-LSTMs 双分支架构——S-LSTM 在频域建模周期性演化、C-LSTM 在时域捕捉局部趋势,结合小波噪声分解策略,在四个基准上全面超越 SOTA 且推理速度提升 40%。
- Dual Distillation for Few-Shot Anomaly Detection
-
提出双蒸馏框架 D24FAD,结合 query 图像上的教师-学生蒸馏(TSD)和 support 图像上的学生自蒸馏(SSD),辅以学习权重机制(L2W)自适应评估 support 重要性,在 APTOS 眼底数据集上仅用 2-shot 达到 100% AUROC。
- ForestPersons: A Large-Scale Dataset for Under-Canopy Missing Person Detection
-
ForestPersons 是首个专门面向森林树冠下失踪人员检测的大规模基准数据集(96,482 张图像 + 204,078 标注),通过模拟微型无人机(MAV)在 1.5-2.0 米高度的低空飞行视角,覆盖多季节、多天气、多姿态和多遮挡等级的真实搜救条件,为下冠层人员检测模型的训练和评估提供了坚实基础。
- FSOD-VFM: Few-Shot Object Detection with Vision Foundation Models and Graph Diffusion
-
提出一个无需训练的少样本目标检测框架,组合 UPN、SAM2 和 DINOv2 三个基础模型生成提案和匹配特征,并通过图扩散算法精化置信度分数和抑制碎片化提案,在 Pascal-5i 和 COCO-20i 上大幅超越 SOTA。
- InfoDet: A Dataset for Infographic Element Detection
-
构建了一个大规模信息图元素检测数据集(101,264 张信息图、1420 万标注),涵盖图表和人类可识别对象两大类,并提出 Grounded CoT 方法利用检测结果提升 VLM 的图表理解能力。
- Long-Context Generalization with Sparse Attention
-
提出 ASEntmax(Adaptive-Scalable Entmax),用可学习温度的 α-entmax 替代 softmax 注意力,从理论和实验两方面证明稀疏注意力能实现 1000× 长度外推,解决 softmax 在长上下文下的注意力弥散(dispersion)问题。
- OwlEye: Zero-Shot Learner for Cross-Domain Graph Data Anomaly Detection
-
提出 OwlEye 框架,利用基于成对距离统计的跨域特征对齐将异构图嵌入共享空间,从多图中提取 attribute-level 和 structure-level 正常模式存入可扩展字典,并通过截断注意力重建机制在完全零样本条件下检测未见图的异常节点,8 数据集平均 AUPRC 36.17% 超越最强 baseline ARC 约 5.4 个百分点。
✂️ 语义分割 (11)¶
- AMLRIS: Alignment-aware Masked Learning for Referring Image Segmentation
-
提出对齐感知遮蔽学习(AML)策略,通过量化视觉-语言 patch 级对齐度并过滤低对齐像素,让 RIS 模型在训练时聚焦可靠区域,无需架构改动即在 RefCOCO 全部 8 个 split 上达到 SOTA。
- ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer
-
提出 ByteFlow Net,一种无需分词器的分层字节级语言模型,利用信息论中的编码率(coding rate)自适应地将原始字节流压缩为语义单元,在预训练损失和下游任务上超越 BPE 基线和已有字节级架构。
- Efficient-SAM2: Accelerating SAM2 with Object-Aware Visual Encoding and Memory Retrieval
-
发现 SAM2 存在类似生物视觉的稀疏感知模式(解码器聚焦前景但编码器广泛计算、记忆帧中仅少量 token 有效且显著性时间一致),据此提出 Efficient-SAM2,通过对象感知的稀疏窗口路由(SWR)和稀疏记忆检索(SMR)消除冗余计算,在 SAM2.1-L 上实现 1.68× 端到端加速且仅损失 1% 精度。
- Locality-Attending Vision Transformer
-
提出 LocAt 模块化插件(GAug + PRR),通过可学习高斯核偏置注意力向局部邻域聚焦并精炼 patch 表示,在不修改训练目标的前提下使 ViT 在 ADE20K 分割上提升超 6%,同时分类精度不降反升。
- RegionReasoner: Region-Grounded Multi-Round Visual Reasoning
-
提出 RegionReasoner,一个基于强化学习的多轮视觉推理框架,通过引用标注奖励和全局-局部一致性奖励,使推理轨迹必须显式引用参考区域坐标并保持语义连贯,在新构建的 RegionDial-Bench 上显著提升多轮定位和分割精度。
- Revisiting [CLS] and Patch Token Interaction in Vision Transformers
-
深入分析Vision Transformer中[CLS]全局token和patch局部token之间的交互摩擦,发现归一化层隐式地区分了两类token,提出在归一化层和早期QKV投影中引入专门化处理路径,仅增加8%参数即实现分割性能提升超2 mIoU,同时保持分类精度。
- Thicker and Quicker: A Jumbo Token for Fast Plain Vision Transformers
-
本文提出 Jumbo 方法:将 ViT 的 CLS token 扩展为 \(J\) 倍宽度,在注意力前拆分为 \(J\) 个与 patch 等宽的 token 参与自注意力,注意力后重新拼接并经过专用的宽 FFN 处理——以极低的计算开销显著增加全局建模容量,使 plain ViT 在高速推理场景下超越专用高效架构(EfficientViT、SHViT、MobileNetV4),同时保留 ViT 的所有架构优势。
- TRACE: Your Diffusion Model is Secretly an Instance Edge Detector
-
发现文本到图像扩散模型的自注意力在去噪过程中存在一个"实例涌现点"(IEP),在该时刻自注意力在物体边界呈现剧烈散度变化。TRACE通过IEP定位+ABDiv边缘提取+单步蒸馏,以81×推理加速生成高质量实例边缘,无需任何实例标注即可将无监督实例分割提升+5.1 AP,tag监督全景分割超越点监督方法+1.7 PQ。
- Universal Multi-Domain Translation via Diffusion Routers
-
提出 Diffusion Router (DR),用单个噪声预测网络通过 source/target 域标签条件化实现所有跨域映射,支持通过中心域的间接翻译和基于变分上界目标 + Tweedie 精化的直接非中心域翻译,在三个大规模 UMDT 基准上达到 SOTA。
- VINCIE: Unlocking In-context Image Editing from Video
-
提出VINCIE框架,首次证明in-context图像编辑模型可以完全从原生视频数据中学习,通过将视频标注为交错多模态序列并设计三个代理任务(NIP/CSP/NSP),在多轮编辑基准上达到SOTA,5轮编辑成功率从基线<2%提升至25%。
📹 视频理解 (10)¶
- A.I.R.: Adaptive, Iterative, and Reasoning-based Frame Selection For Video Question Answering
-
提出 A.I.R.,一种无需训练的自适应-迭代-推理驱动帧选择框架,通过两阶段策略(GMM 自适应初始采样 + 迭代式 VLM 精细分析)解决 VideoQA 中轻量模型(CLIP)相似度不准确和 VLM 分析成本爆炸的双重困境,在最坏情况下也仅需分析 72 帧(vs 基线 128 帧),同时显著提升多个长视频 benchmark 性能。
- FlashVID: Efficient Video Large Language Models via Training-free Tree-Based Spatiotemporal Token Merging
-
提出 FlashVID,一个免训练的视频大语言模型推理加速框架,通过树状时空 token 合并(TSTM)联合建模空间和时间冗余,仅保留 10% 的视觉 token 就能保持 LLaVA-OneVision 99.1% 的性能,并能将 Qwen2.5-VL 的输入帧数提升 10 倍。
- FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding
-
提出 FLoC,基于设施选址函数(facility location function)的视觉 token 压缩框架,通过子模优化在给定预算下快速选择兼具代表性和多样性的 token 子集,实现无训练、模型无关、查询无关的长视频理解 token 压缩。
- From Vicious to Virtuous Cycles: Synergistic Representation Learning for Unsupervised Video Object-Centric Learning
-
发现 slot-based 目标中心学习中编码器(产生尖锐但有噪声的注意力图)与解码器(产生空间一致但模糊的重建掩码)之间的恶性循环,提出同步对比学习目标和 slot 正则化预热策略将其转化为良性循环,在 MOVi 和 YouTube-VIS 上大幅提升物体发现性能。
- Language-guided Open-world Video Anomaly Detection under Weak Supervision
-
提出语言引导的开放世界视频异常检测范式LaGoVAD,通过将异常定义建模为随机变量并以自然语言形式输入,结合动态视频合成和对比学习正则化策略,在七个数据集上实现零样本SOTA性能。
- Let's Split Up: Zero-Shot Classifier Edits for Fine-Grained Video Understanding
-
提出了"类别拆分"(Category Splitting)新任务,通过挖掘视频分类器权重中的潜在组合结构,在零样本条件下将粗粒度动作类别拆分为细粒度子类别,无需重训或额外数据。
- Map the Flow: Revealing Hidden Pathways of Information in VideoLLMs
-
首次用机制可解释性工具(Attention Knockout + Logit Lens)系统逆向工程VideoLLM的时序推理过程,揭示出"早中层跨帧交互→中层视频-语言整合→中后层答案生成"的三阶段信息流蓝图,并证明仅保留42%注意力边即可几乎无损保持VideoQA性能。
- Steering and Rectifying Latent Representation Manifolds in Frozen Multi-Modal LLMs for Video Anomaly Detection
-
提出 SteerVAD 框架,在完全冻结的多模态大语言模型 (MLLM) 内部,通过识别"潜在异常专家"注意力头并用层次化元控制器动态操控其表示流形,仅用 1% 训练数据即实现免调优视频异常检测的 SOTA。
- Video-KTR: Reinforcing Video Reasoning via Key Token Attribution
-
提出 Video-KTR,一种模态感知的策略塑造框架,通过反事实分析识别视觉感知型、时序敏感型和高熵 Token 三类关键 Token,仅对这些 Token 执行选择性强化学习更新,在多个视频推理基准上达到 SOTA(Video-Holmes 42.7%,超越 GPT-4o)。
- VideoNSA: Native Sparse Attention Scales Video Understanding
-
本文提出 VideoNSA,将 Native Sparse Attention(NSA)引入视频语言模型,通过压缩、选择和滑动窗口三分支动态门控的混合稀疏注意力机制,在仅使用 3.6% 注意力预算的条件下实现 128K token 的视频理解,在长视频理解、时序推理和空间理解任务上全面超越 token 压缩和无训练稀疏注意力基线。
🧑 人体理解 (8)¶
- BAH Dataset for Ambivalence/Hesitancy Recognition in Videos for Digital Behaviour Analysis
-
提出首个面向视频中矛盾/犹豫(A/H)识别的多模态数据集 BAH,包含来自加拿大9省224名参与者的1,118段视频共8.26小时,由行为科学专家标注,并提供了帧级和视频级的基线实验结果。
- Cross-Domain Policy Optimization via Bellman Consistency and Hybrid Critics
-
提出 Q Avatar 框架,通过跨域 Bellman 一致性量化源域模型可迁移性,利用自适应无超参权重函数混合源域和目标域 Q 函数,实现在状态-动作空间不同的跨域 RL 中的可靠知识迁移,无论源域模型质量或域相似性如何都能保证不产生负迁移。
- Event-T2M: Event-level Conditioning for Complex Text-to-Motion Synthesis
-
提出 Event-T2M 框架,将文本提示分解为事件级别的原子动作,结合 TMR 编码器和事件级交叉注意力(ECA)模块注入 Conformer 扩散模型,显著提升多事件复杂动作生成的质量和语义对齐。
- GaitSnippet: Gait Recognition Beyond Unordered Sets and Ordered Sequences
-
提出 Snippet 范式:将步态轮廓序列组织为若干"片段"(snippet),每个 snippet 由一个连续区间内随机抽取的帧构成,兼顾短程时序上下文与长程时序依赖,在 Gait3D 上以 2D 卷积骨干达到 77.5% Rank-1,超越所有 3D 卷积方法。
- Inverse Virtual Try-On: Generating Multi-Category Product-Style Images from Clothed Individuals
-
提出TEMU-VTOFF——面向虚拟脱衣(VTOFF)任务的Dual-DiT架构,通过特征提取器+服装生成器分工协作,结合多模态混合注意力(MHA)融合图像/文本/掩码信息消解视觉歧义,并设计DINOv2驱动的服装对齐器保留高频细节,在VITON-HD和Dress Code多品类场景均达到SOTA。
- NeuroGaze-Distill: Brain-informed Distillation and Depression-Inspired Geometric Priors for Robust Facial Emotion Recognition
-
提出 NeuroGaze-Distill 跨模态蒸馏框架:从 EEG 脑电训练的教师模型中提取静态 Valence-Arousal 原型,通过 Proto-KD 和抑郁症启发的几何先验(D-Geo)注入纯视觉学生模型,无需 EEG-人脸配对数据,提升表情识别的跨数据集鲁棒性。
- PersonaX: Multimodal Datasets with LLM-Inferred Behavior Traits
-
构建了 PersonaX 多模态数据集(含 LLM 推断的 Big Five 行为特质、面部嵌入和传记元数据),并提出两层分析框架:结构化独立性检验 + 非结构化因果表示学习(带可识别性理论保证),揭示跨模态因果结构。
- QuaMo: Quaternion Motions for Vision-based 3D Human Kinematics Capture
-
QuaMo 提出基于四元数微分方程(QDE)的 3D 人体运动学捕捉方法,通过在四元数单位球面约束下求解运动学方程,并引入二阶加速度增强的 meta-PD 控制器,实现了无不连续性、低抖动的在线实时人体运动估计,在 Human3.6M 等多个数据集上超越 SOTA。
🛰️ 遥感 (5)¶
- Earth-Agent: Unlocking the Full Landscape of Earth Observation with Agents
-
Earth-Agent是首个基于MCP工具生态的地球观测Agent框架,统一了RGB和光谱遥感数据,通过动态调用104个专家工具实现跨模态、多步骤、定量时空推理,配套提出的Earth-Bench基准包含248个专家任务和13,729张图像,实验证明Earth-Agent远超通用Agent和遥感MLLM。
- Measuring the Intrinsic Dimension of Earth Representations
-
首次系统度量地理隐式神经表示(Geographic INR)的内在维度(ID),发现256-512维嵌入的真实ID仅2-10维;冻结嵌入空间的高ID与好的下游性能正相关,而监督任务头激活空间的低ID与高性能正相关,揭示了「代表性 vs 任务对齐」的双重机制。
- Spectral Gaps and Spatial Priors: Studying Hyperspectral Downstream Adaptation Using TerraMind
-
研究未经高光谱预训练的多模态地理空间基础模型 TerraMind 能否通过通道适配策略(朴素波段选择 vs. SRF 分组)有效适配高光谱下游任务,结果表明朴素波段选择一致优于物理感知的 SRF 方法,但性能差距随任务光谱复杂度增大而扩大。
- TAMMs: Change Understanding and Forecasting in Satellite Image Time Series with Temporal-Aware Multimodal Models
-
提出 TAMMs——首个统一框架,在单一 MLLM-扩散架构中联合执行卫星图像时间序列的时序变化描述(TCD)和未来图像预测(FSIF),通过时序适配模块(TAM)唤醒冻结 MLLM 的时序推理能力,并通过语义融合控制注入(SFCI)机制将变化理解转化为生成控制信号。
- Task-free Adaptive Meta Black-box Optimization
-
提出 ABOM——一种无需预定义训练任务的自适应元黑盒优化器,通过将进化算子(选择、交叉、变异)参数化为可微注意力模块,在优化过程中利用自生成数据在线更新参数,在合成基准和无人机路径规划上实现零样本竞争性能。
🎮 强化学习 (126)¶
- A Unifying View of Coverage in Linear Off-Policy Evaluation
-
提出了一种新的覆盖性参数——特征-动态覆盖(feature-dynamics coverage),通过工具变量视角对经典算法 LSTDQ 进行新颖的有限样本分析,统一了线性离策略评估中各种不同覆盖性定义,解决了该领域长期存在的碎片化问题。
- AbstRaL: Augmenting LLMs' Reasoning by Reinforcing Abstract Thinking
-
提出 AbstRaL,通过强化学习教 LLM 学习推理问题的数学抽象(将具体数字/名称替换为符号变量、提取通用公式),然后用符号求解器推导答案,在 GSM 扰动 benchmark 上几乎完全消除了分布偏移导致的性能下降,并在 OOD 数学/通用推理任务上也有隐式提升。
- AMPED: Adaptive Multi-objective Projection for balancing Exploration and skill Diversification
-
提出AMPED框架,在技能预训练阶段用梯度手术(PCGrad)平衡探索(熵+RND)和技能多样性(AnInfoNCE)之间的梯度冲突,在微调阶段用SAC-based技能选择器自适应选择最优技能,在Maze和URLB基准上超越DIAYN/CeSD/CIC等SBRL基线。
- ARM-FM: Automated Reward Machines via Foundation Models for Compositional Reinforcement Learning
-
提出ARM-FM框架,利用基础模型(GPT-4o等)从自然语言任务描述自动生成语言对齐奖励机器(LARM)——包括自动机结构、可执行标签函数和每个状态的自然语言描述——为RL agent提供组合式密集奖励信号,在MiniGrid/Craftium(3D Minecraft)/Meta-World等环境中解决标准RL完全无法学习的稀疏奖励长程任务,并实现零样本任务泛化。
- AutoQD: Automatic Discovery of Diverse Behaviors with Quality-Diversity Optimization
-
提出 AutoQD,通过随机傅里叶特征(RFF)将策略的占据度量嵌入有限维空间,再用加权 PCA 降维得到行为描述符,实现无需人工设计 BD 的 QD 优化,在 6 个连续控制任务上全面超越手工 BD 和现有无监督 QD 方法。
- AutoTool: Automatic Scaling of Tool-Use Capabilities in RL via Decoupled Entropy Constraints
-
提出解耦自适应熵约束 (Decoupled Adaptive Entropy Constraints) 的强化学习策略,使 LLM 在工具调用任务中根据问题难度自动切换长/短推理模式,在提升 9.8% 准确率的同时减少约 81% 的推理 token 开销。
- AWM: Accurate Weight-Matrix Fingerprint for Large Language Models
-
提出 AWM,一种无需训练的 LLM 权重矩阵指纹方法,利用线性分配问题(LAP)恢复嵌入层的置换和符号翻转,再用无偏 CKA 消除 Q/K 矩阵的正交变换影响,在 150 对 LLM 上实现完美 AUC(1.0),对 SFT、持续预训练(5.5T token)、RL、多模态扩展、剪枝、upcycling 六类后训练均鲁棒,30 秒内完成。
- BA-MCTS: Bayes Adaptive Monte Carlo Tree Search for Offline Model-based RL
-
首次将贝叶斯自适应 MDP(BAMDP)引入离线模型基 RL,提出 Continuous BAMCP 解决连续状态/动作空间的贝叶斯规划,结合悲观奖励惩罚和搜索基策略迭代("RL + Search"范式),在 D4RL 12 个任务上显著超越 19 个基线(Cohen's \(d > 1.8\)),并成功应用于核聚变 tokamak 控制。
- Boolean Satisfiability via Imitation Learning
-
提出 ImitSAT,首个基于模仿学习的 CDCL 求解器分支策略:通过将求解器运行压缩为无冲突的 KeyTrace 专家序列,将分支决策建模为前缀条件的自回归预测任务,以少量查询预算显著减少传播次数和求解时间,并在结构化 SAT 问题上展现良好泛化能力。
- Breaking Barriers: Do Reinforcement Post Training Gains Transfer To Unseen Domains?
-
通过观察性研究(18 个开源 RPT 模型)和干预性研究(单域 GRPO 训练),系统揭示了强化后训练(RPT/RLVR)的泛化局限:RPT 在训练域内提升显著,但跨域泛化不一致——结构化域(数学↔代码)可互相迁移,但无法泛化到非结构化域(法律/金融/医疗),且这一结论跨算法、模型规模和训练步数保持一致。
🤖 机器人/具身智能 (46)¶
- All-day Multi-scenes Lifelong Vision-and-Language Navigation with Tucker Adaptation
-
提出Tucker Adaptation (TuKA),将多场景多环境的多层级导航知识表示为高阶张量,用Tucker分解解耦为共享子空间(核心张量+编解码器)和场景/环境专家向量,配合解耦知识增量学习策略实现全天候多场景终身VLN,在24个导航场景上的SR和遗忘率均优于LoRA变体。
- AnyTouch 2: General Optical Tactile Representation Learning For Dynamic Tactile Perception
-
AnyTouch 2提出触觉动态金字塔框架,构建包含242.6万接触样本的ToucHD层级数据集(涵盖原子动作、真实操控和触力配对数据),并设计统一像素级、语义级和物理级三层次动态感知的触觉表征学习框架,在静态属性识别、动态物理预测和真实世界操控四项任务上全面超越现有方法。
- APPLE: Toward General Active Perception via Reinforcement Learning
-
提出APPLE——一种结合强化学习与监督学习的通用主动感知框架,将主动感知建模为POMDP,奖励函数设计为RL奖励减去预测损失,梯度自然分解为策略梯度和预测损失梯度两部分,基于off-policy算法(SAC/CrossQ)和共享ViViT骨干网络,在5个不同任务基准上验证通用性,其中CrossQ变体无需逐任务调参且训练效率提高53%。
- AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild
-
提出 AutoFly,一个面向无人机野外自主导航的端到端 VLA 模型,通过伪深度编码器从 RGB 输入推断空间信息,配合新构建的自主导航数据集(13K+ 轨迹含 1K 真实飞行),在模拟和真实环境中比 OpenVLA 成功率高 3.9%,碰撞率低 2.6%。
- Cross-Embodiment Offline Reinforcement Learning for Heterogeneous Robot Datasets
-
系统研究跨形态离线 RL 预训练范式,发现次优数据比例和机器人多样性增加时梯度冲突导致负迁移,提出基于形态图距离的 Embodiment Grouping(EG)策略将机器人按形态聚类后分组更新 actor,在 16 种机器人平台的 locomotion benchmark 上显著缓解负迁移(70% 次优数据集上 IQL+EG 比 IQL 提升 34%)。
- D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping
-
提出D-REX,一个基于高斯表示的可微real-to-sim-to-real引擎,通过视觉观测和机器人控制信号进行端到端物体质量辨识,并利用辨识的质量进行力感知的灵巧抓取策略学习,有效缩小了sim-to-real差距。
- D2E: Scaling Vision-Action Pretraining on Desktop Data for Transfer to Embodied AI
-
提出 D2E 框架,证明桌面游戏交互数据可作为具身 AI 的有效预训练基底:通过 OWA 工具包收集 335h 人类演示 + Generalist-IDM 伪标注 1000+h YouTube 游戏视频 + VAPT 迁移训练,1B 参数模型在 LIBERO 操作达 96.6%、CANVAS 导航达 83.3%,匹敌或超越 7x 更大的模型。
- Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization
-
提出 Distributionally Robust IGM (DrIGM) 原则,将分布鲁棒优化引入协作多智能体 RL 的值分解框架,使得 VDN/QMIX/QTRAN 等经典方法能够在训练环境与部署环境存在分布偏移时仍保持稳健的去中心化执行性能。
- Embodied Agents Meet Personalization: Investigating Challenges and Solutions Through the Lens of Memory Utilization
-
本文通过 Memento 框架系统评估了 LLM 驱动具身智能体的记忆利用能力,发现现有 agent 能回忆简单物体语义但无法处理用户行为模式的序列信息,并提出了基于层次知识图谱的用户画像记忆模块来有效提升个性化辅助任务的表现。
- Emergence of Spatial Representation in an Actor-Critic Agent with Hippocampus-Inspired Sequence Generator
-
受海马体 CA3 区内在递归回路启发,提出最小序列生成器(shift register)与 actor-critic 结合,在稀疏视觉输入下实现迷宫导航,同时涌现出位置场、DG 正交化、距离相关空间核和任务依赖重映射等神经生物学现象。
🚗 自动驾驶 (16)¶
- Adaptive Augmentation-Aware Latent Learning for Robust LiDAR Semantic Segmentation
-
提出 A3Point(Adaptive Augmentation-Aware Latent Learning)框架,通过语义混淆先验(SCP)隐式学习和语义偏移区域(SSR)定位两大核心组件,解耦模型固有的语义混淆与数据增强引入的语义偏移,对不同干扰程度自适应优化,在多个恶劣天气 LiDAR 分割泛化基准上取得 SOTA。
- SMART-R1: Advancing Multi-agent Traffic Simulation via R1-Style Reinforcement Fine-Tuning
-
SMART-R1 首次将 R1 风格的强化微调(RFT)引入多智能体交通仿真,提出 Metric-oriented Policy Optimization (MPO) 算法和"SFT-RFT-SFT"迭代训练策略,在 WOSAC 2025 排行榜上以 0.7858 的 Realism Meta 分数取得第一名。
- Astra: General Interactive World Model with Autoregressive Denoising
-
提出 Astra,一个通用交互式世界模型,通过自回归去噪框架在预训练视频扩散模型上实现动作条件化的长程视频预测,引入 ACT-Adapter(动作注入)、噪声增强历史记忆(缓解视觉惯性)和 Mixture of Action Experts(统一多异构动作模态),在自动驾驶、机器人操控和场景探索等多场景上实现 SOTA 的保真度和动作跟随能力。
- BridgeDrive: Diffusion Bridge Policy for Closed-Loop Trajectory Planning in Autonomous Driving
-
BridgeDrive 提出用扩散桥(diffusion bridge)替代截断扩散来实现锚点引导的自动驾驶轨迹规划,保证前向/反向过程的理论对称性,在 Bench2Drive 闭环评估中成功率达到 74.99%(PDM-Lite)和 89.25%(LEAD),分别超越前 SOTA 7.72% 和 2.45%。
- EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video
-
Apple 使用 Vision Pro 采集了 829 小时的第一人称视频 + 3D 手部关节追踪数据(EgoDex),覆盖 194 种桌面操作任务,并在此数据集上系统评估了模仿学习策略(BC/DDPM/FM + Transformer),为灵巧操作的扩展训练提供了迄今最大规模的数据基础。
- MARC: Memory-Augmented RL Token Compression for Efficient Video Understanding
-
提出 MARC 框架,通过"先检索再压缩"策略——用 Visual Memory Retriever (VMR) 选出与查询最相关的视频片段,再用 Compression GRPO (C-GRPO) 将 64 帧教师模型的推理能力蒸馏到仅用 1 帧 token 的学生模型——实现视觉 token 95% 压缩,GPU 显存降低 72%,推理延迟降低 23.9%,性能几乎无损(42.20 vs 42.21)。
- Multi-Head Low-Rank Attention (MLRA)
-
提出 Multi-Head Low-Rank Attention (MLRA),通过将 MLA 的单一 latent head 分解为多个可独立分片的 latent head,并对各分支注意力输出求和,实现原生 4-way 张量并行支持,在保持 SOTA 性能的同时获得 2.8× 的解码加速。
- NeMo-map: Neural Implicit Flow Fields for Spatio-Temporal Motion Mapping
-
提出 NeMo-map——基于神经隐式函数的连续时空动态地图,将空间-时间坐标直接映射为半包裹高斯混合模型(SWGMM)参数,消除传统方法的空间离散化和时间分段限制,在真实行人追踪数据上实现更低 NLL 和更平滑的速度分布。
- ResWorld: Temporal Residual World Model for End-to-End Autonomous Driving
-
ResWorld 提出时序残差世界模型(TR-World),通过计算 BEV 场景表征的时序残差来提取动态物体信息(无需检测/跟踪),避免对静态区域的冗余建模,结合未来引导轨迹优化(FGTR)模块利用预测的未来 BEV 特征修正规划轨迹,在 nuScenes 和 NAVSIM 上达到 SOTA 规划性能。
- SEAL: Segment Any Events with Language
-
首次提出开放词汇事件实例分割(OV-EIS)任务,设计 SEAL 框架通过多模态层次语义引导(MHSG)和轻量多模态融合网络,在仅使用事件-图像对(无密集标注)的情况下,实现事件流的多粒度(实例级+部件级)语义分割,大幅领先所有基线方法且推理速度最快。
🎁 推荐系统 (9)¶
- C2AL: Cohort-Contrastive Auxiliary Learning for Large-scale Recommendation Systems
-
提出 C2AL(Cohort-Contrastive Auxiliary Learning),通过数据驱动地发现分布差异最大的用户群体对,构建对比性辅助二分类任务正则化共享编码器,使 FM 注意力权重从稀疏变为稠密,缓解大规模推荐系统中少数群体的表征偏差,在 Meta 6 个生产模型(数十亿数据点)上验证有效。
- CollectiveKV: Decoupling and Sharing Collaborative Information in Sequential Recommendation
-
观察到序列推荐中不同用户的 KV cache 具有显著跨用户相似性(协同信号),提出 CollectiveKV 将 KV 分解为低维用户特有部分和从全局 KV 池检索的高维共享部分,实现 0.8% 的压缩率且性能不降。
- From Evaluation to Defense: Advancing Safety in Video Large Language Models
-
构建 VideoSafetyEval(11.4k 视频-查询对覆盖 19 种风险类别)揭示视频模态使安全性能下降 34.2%,提出 VideoSafety-R1 三阶段框架(报警 Token+SFT+Safety-guided GRPO)在 VSE-HH 上提升 71.1% 防御成功率。
- GoalRank: Group-Relative Optimization for a Large Ranking Model
-
理论证明任意 Multi-Generator-Evaluator 排序系统都存在一个更大的 generator-only 模型以更小的误差逼近最优策略且满足 scaling law,据此提出 GoalRank——用 reward model 构建 group-relative 参考策略来训练大型 generator-only 排序模型,在线 A/B 测试中显著优于 SOTA。
- In Agents We Trust, but Who Do Agents Trust? Latent Source Preferences Steer LLM Generations
-
通过对来自6家提供商的12个LLM在新闻、学术、电商三大领域的大规模控制实验,揭示了LLM存在系统性的隐式信息源偏好(latent source preferences)——当内容语义完全相同时,仅更换来源标签就能显著改变模型的信息选择行为,且这种偏好无法通过提示工程消除。
- ProPerSim: Developing Proactive and Personalized AI Assistants through User-Assistant Simulation
-
提出ProPerSim模拟框架,构建基于大五人格的32种用户persona在Smallville家庭环境中的日常行为模拟,AI助手通过每2.5分钟的主动推荐决策和DPO偏好学习,在14天模拟中将用户满意度从2.2/4提升至3.3/4,首次验证了主动性+个性化统一的可行性。
- RAE: A Neural Network Dimensionality Reduction Method for Nearest Neighbors Preservation in Vector Search
-
提出 RAE(Regularized Auto-Encoder),通过线性自编码器 + Frobenius 范数正则化实现降维,理论证明正则化系数 \(\lambda\) 通过 Rayleigh 商性质约束编码器矩阵的条件数 \(\kappa(W)\),从而保证范数失真率有界、k-NN 结构被保持。在 4 个数据集上一致优于 PCA/UMAP/MDS/ISOMAP,余弦距离下比 PCA 至少高 12%,且训练仅需 8 秒、推理毫秒级。
- Search Arena: Analyzing Search-Augmented LLMs
-
构建 Search Arena——首个大规模搜索增强 LLM 人类偏好数据集(24069 对话 + 12652 偏好投票,71 种语言),发现用户偏好受引用数量影响(即使引用不支持声明),社区驱动平台比 Wikipedia 更受偏好,搜索增强不降低通用聊天性能但通用 LLM 在搜索场景显著退化。
- Token-Efficient Item Representation via Images for LLM Recommender Systems
-
提出 I-LLMRec,利用商品图像替代冗长文本描述来表示推荐系统中的物品语义,通过 RISA 对齐模块和 RERI 检索模块,在仅用单个token表示物品的同时保留丰富语义,推理速度提升约2.93倍且推荐性能超越文本描述方法。
📦 模型压缩 (100)¶
- A Fano-Style Accuracy Upper Bound for LLM Single-Pass Reasoning in Multi-Hop QA
-
用信息论推导出 LLM 单次推理在多跳 QA 中的 Fano 式准确率上界,揭示当任务信息需求超过模型输出容量时准确率会"悬崖式"骤降的现象,并据此设计多轮推理框架 InfoQA,通过容量感知分解、依赖显式工作流和迭代查询压缩来突破单次推理瓶颈。
- A Recovery Guarantee for Sparse Neural Networks
-
证明了 ReLU 神经网络的首个稀疏恢复保证:对两层标量输出网络,当训练数据为高斯随机采样时,基于凸重构的迭代硬阈值 (IHT) 算法可精确恢复稀疏网络权重,且内存需求仅与非零权重数线性增长。
- A universal compression theory for lottery ticket hypothesis and neural scaling laws
-
本文证明了一个通用压缩定理:任意置换不变函数可以被渐近压缩至 polylog(d) 规模且误差趋近于零(这是最优压缩率),由此直接推导出动态彩票假说的证明——任何网络可被压缩至多对数宽度同时保持学习动力学不变,以及数据集可被压缩至多对数大小同时保持损失景观不变,并且幂律缩放定律可被加速至任意快的衰减率。
- ABBA-Adapters: Efficient and Expressive Fine-Tuning of Foundation Models
-
提出 ABBA 适配器,将权重更新参数化为两个独立可学习的低秩矩阵的 Hadamard 积 \(\Delta W = s(B_1A_1) \odot (B_2A_2)\),在相同参数预算下实现远高于 LoRA 的有效秩(\(r_1 \cdot r_2\) vs \(r\)),并通过 Khatri-Rao 重构实现与 LoRA 相当的内存效率,在算术和常识推理任务上显著超越现有 PEFT 方法。
- ACPBench Hard: Unrestrained Reasoning about Action, Change, and Planning
-
构建 ACPBench Hard——基于 PDDL 形式化系统的 8 类开放式生成规划推理 benchmark(13 域 × 8 任务 = 1040 题),配备具有严格正确性保证的符号验证器,系统测评 15 个 LLM 后发现:即使最强推理模型 o1-preview 在半数任务上准确率 ≤66%,所有模型在最基本的"列举可执行动作"任务上几乎完全失败,暴露了当前 LLM 在规划推理方面的根本不足。
- Adaptive Width Neural Networks
-
提出AWN框架,通过变分推断在训练过程中自动学习每层的无上界宽度(神经元数量),利用单调递减的重要性函数对神经元施加软排序,实现宽度自适应于任务难度,并支持零成本的训练后截断压缩。
- AdaRank: Adaptive Rank Pruning for Enhanced Model Merging
-
提出 AdaRank,用可学习二值掩码自适应选择 task vector 的奇异分量(取代启发式 top-k),结合测试时熵最小化优化,大幅缓解多任务模型合并中的任务间干扰,在 ViT-B/32 上达到 89.4% 准确率。
- AgilePruner: An Empirical Study of Attention and Diversity for Adaptive Visual Token Pruning in LVLMs
-
通过 erank(有效秩)和注意力熵的系统性实证分析,揭示了视觉 token 剪枝中注意力方法和多样性方法的互补特性——注意力方法抑制幻觉但覆盖有限,多样性方法覆盖全面但易引入幻觉——并据此提出基于图像复杂度自适应切换剪枝策略的 AgilePruner,在 9 个 benchmark 上表现稳健。
- Alignment through Meta-Weighted Online Sampling: Bridging the Gap between Data Generation and Preference Optimization
-
提出MetaAPO框架,用一个轻量级meta-learner(两层MLP)动态估计offline/online数据的对齐差距,既指导"在哪些prompt上做在线采样"(解决分布不匹配),又在训练时自适应加权offline/online数据(优化学习效率),在AlpacaEval 2/Arena-Hard/MT-Bench上超越DPO/Online DPO等基线,同时减少42%在线标注成本。
- AMiD: Knowledge Distillation for LLMs with α-mixture Assistant Distribution
-
提出α-mixture assistant distribution及统一蒸馏框架AMiD,通过引入新设计变量α(控制教师-学生分布插值路径的几何形状)泛化了现有辅助分布方法(m-mixture和e-mixture为α=±1的特例),并证明了在任意散度和α下的最优性保证,在多个LLM蒸馏基准上取得SOTA性能。
🔬 可解释性 (60)¶
- A Cortically Inspired Architecture for Modular Perceptual AI
-
从神经科学出发提出皮层启发的模块化感知 AI 架构蓝图,包含专用编码器、共享跨模态潜空间、路由控制器和递归预测反馈回路四个组件,并通过稀疏自编码器实验验证模块化分解可提升域内特征稳定性 (+15.4pp Jaccard 重叠)。
- AdAEM: An Adaptively and Automated Extensible Measurement of LLMs' Value Difference
-
提出 AdAEM,一个自适应、自扩展的 LLM 价值观评估框架,通过信息论优化自动生成能最大化揭示不同 LLM 价值差异的测试问题,解决现有静态基准无法区分模型价值取向的"信息量不足"问题。
- Addressing Divergent Representations from Causal Interventions on Neural Networks
-
系统性地揭示因果干预(activation patching、DAS、SAE 等)会将模型内部表征推离自然分布,理论区分"无害偏移"与"有害偏移"两类情况,并提出 Counterfactual Latent (CL) loss 来约束干预表征不偏离流形,在 7B LLM 上验证可减少偏移同时保持干预准确率。
- AnveshanaAI: A Multimodal Platform for Adaptive AI/ML Education through Automated Question Generation and Interactive Assessment
-
提出 AnveshanaAI,一个基于 Bloom 认知分类学的自适应 AI/ML 教育平台,通过自动化题目生成(基于微调的 GPT-2)、语义相似度检测去重、XAI 可解释性技术和游戏化机制(积分/徽章/排行榜),实现了覆盖数据科学到多模态 AI 七大领域的个性化学习评估系统,实验表明微调后困惑度显著下降且学习者参与度明显提升。
- Behavior Learning (BL): Learning Hierarchical Optimization Structures from Data
-
受行为科学中效用最大化范式启发,提出 Behavior Learning (BL) 框架,将数据建模为由可解释的模块化效用最大化问题(UMP)层次组合所诱导的 Gibbs 分布,在预测性能、内在可解释性和参数可辨识性三者之间实现了统一。
- Beyond Linear Probes: Dynamic Safety Monitoring for Language Models
-
提出截断多项式分类器(TPC),通过对 LLM 激活空间中的多项式逐阶训练和截断评估,实现动态安全监控——在简单输入上用低阶(≈线性探针)快速决策,在困难输入上增加高阶项提供更强防护,在 WildGuardMix 和 BeaverTails 两个数据集上匹敌或超越 MLP 基线且具备内置可解释性。
- Bridging Explainability and Embeddings: BEE Aware of Spuriousness
-
提出BEE框架,通过分析微调如何扰动预训练表征的权重空间几何结构,直接从分类器学到的权重中识别和命名虚假相关性(spurious correlations),无需反例样本即可发现隐藏的数据偏差,在ImageNet-1k上发现可导致准确率下降高达95%的虚假关联。
- Causal Interpretation of Neural Network Computations with Contribution Decomposition
-
提出 CODEC(Contribution Decomposition),用 Integrated Gradients 计算隐藏层神经元对输出的贡献(而非仅分析激活),再用 Sparse Autoencoder 将贡献分解为稀疏模式(modes),实现比激活分析更强的因果可解释性和网络控制能力,并成功应用于 ResNet-50 和视网膜生物神经网络模型。
- Closing the Curvature Gap: Full Transformer Hessians and Their Implications for Scaling Laws
-
首次推导完整 Transformer block(含 LayerNorm 和 FFN)的显式 Hessian 表达式及谱范数上界,建立了损失面随数据量增加以 \(O(1/k)\) 速率收敛的理论框架,为 scaling laws 和曲率感知训练提供了数学基础。
- Concepts' Information Bottleneck Models
-
在概念瓶颈模型(CBM)的概念层引入信息瓶颈(IB)正则化,通过惩罚 I(X;C) 同时保留 I(C;Y) 来学习最小充分概念表示,在六个CBM变体和三个基准上一致提升预测性能和概念干预可靠性。
📐 优化/理论 (47)¶
- A Convergence Analysis of Adaptive Optimizers under Floating-Point Quantization
-
本文建立了首个在浮点量化下分析自适应优化器收敛性的理论框架,对梯度、权重和优化器状态(动量、二阶矩)同时施加相对误差量化模型,证明了量化 Adam 和 Muon 在尾数长度仅需对数增长于迭代次数时即可保持与全精度相同的 \(\tilde{O}(T^{-1/4})\) 收敛率,并揭示了 Adam 对权重和二阶矩量化高度敏感而 Muon 更为鲁棒的理论机制。
- Adaptive Rollout Allocation for Online RL with Verifiable Rewards (VIP)
-
提出 VIP(Variance-Informed Predictive allocation),通过高斯过程预测每个 prompt 的成功概率,据此用凸优化在计算预算约束下分配 rollout 数量以最小化梯度方差,在数学推理任务上一致提升 GRPO/RLOO 的采样效率,AIME24/25 上 Pass@32 最高提升 12.3 个点。
- Celo2: Towards Learned Optimization Free Lunch
-
提出 Celo2——一个仅用 4.5 GPU 小时元训练的学习型优化器,通过归一化 MLP 更新规则和任务增强等简单配方,实现了到 10 亿参数级别模型(GPT-3 XL 1.3B)的稳定泛化(比元训练分布大 6 个数量级),性能超越了此前耗费 4000 TPU-month 的 VeLO 和精心调优的 AdamW 基线。
- CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving
-
CogFlow 提出认知启发的三阶段视觉数学推理框架(感知→内化→推理),通过 Synergistic Visual Rewards 增强感知、Knowledge Internalization Reward 桥接感知与推理、Visual-Gated Policy Optimization 锚定视觉推理,解决了现有方法中"感知正确但推理漂移"的核心问题。
- COLD-Steer: Steering Large Language Models via In-Context One-step Learning Dynamics
-
提出 COLD-Steer,通过近似梯度下降在上下文示例上产生的表征变化来实现无训练的 LLM 激活转向,在仅用 50 分之一样本量的情况下达到 95% 的转向效果。
- Conformal Prediction Adaptive to Unknown Subpopulation Shifts
-
针对子群体偏移(subpopulation shift)下标准 conformal prediction 失效的问题,提出三种自适应算法:利用学习的 domain classifier 加权校准数据(Algorithm 1/2)或利用嵌入相似度加权(Algorithm 3),在不完美甚至无 domain 标签的情况下仍能保证覆盖率,并应用于视觉分类和 LLM 幻觉检测。
- Constraint Matters: Multi-Modal Representation for Reducing Mixed-Integer Linear programming
-
提出基于约束缩减的 MILP 模型简化框架:定义固定约束强度 \(\rho\) 并用信息增益 \(\Delta H=-\log\rho\) 识别关键紧约束(CTC),设计融合实例级双部图与抽象级类型图的多模态 GNN 表征来预测 CTC,在 4 个大规模基准上解质量(\(\text{gap}_\text{abs}\))平均提升 51.06%、收敛速度(PDI)平均加快 17.47%。
- Convergence of Muon with Newton-Schulz
-
首次为实际使用的 Muon 优化器(使用 Newton-Schulz 近似而非精确 SVD 极坐标分解)提供非凸收敛保证:证明收敛速率匹配 SVD 理想化版本(差一个常数因子),该因子随 Newton-Schulz 步数 \(q\) 双指数衰减,且 Muon 比向量对应物 SGD-M 少 \(\sqrt{r}\) 倍秩损失。
- Convex Dominance in Deep Learning I: A Scaling Law of Loss and Learning Rate
-
从凸优化理论出发,证明深度学习训练损失以 O(1/sqrt(T)) 速率收敛,最优学习率以 1/sqrt(T) 缩放,在 GPT-2 到 12.5B 参数模型上验证了该缩放律(R^2 >= 0.978),并实现了 80 倍训练步数的学习率外推。
- DeepAFL: Deep Analytic Federated Learning
-
提出 DeepAFL,通过设计无梯度的解析残差块并引入逐层联邦训练协议,首次实现了具有表征学习能力的深度解析联邦学习模型,既保持了对数据异质性的理想不变性,又突破了现有解析方法仅限于单层线性模型的局限,在三个基准数据集上超越 SOTA 5.68%-8.42%。
📈 时间序列 (38)¶
- Adapt Data to Model: Adaptive Transformation Optimization for Domain-shared Time Series Foundation Models
-
提出TATO框架,通过自动优化数据预处理 pipeline(包括上下文裁切、尺度归一化、异常值校正),让冻结的大型时序模型(LTM)在不微调的情况下适配不同下游领域,平均降低MSE 13.6%,最高65.4%。
- Benchmarking ECG FMs: A Reality Check Across Clinical Tasks
-
对8个ECG基础模型在12个数据集、26个临床任务上进行"现实检验"式全面基准评测,发现紧凑的结构化状态空间模型(SSM)ECG-CPC在7个任务类别中的5个上超越了大规模Transformer,证明架构设计比模型规模更重要。
- Brain-Semantoks: Learning Semantic Tokens of Brain Dynamics with a Self-Distilled Foundation Model
-
提出 Brain-Semantoks,一种基于语义分词器和自蒸馏目标的 fMRI 基础模型,将大脑功能网络聚合为鲁棒的语义 token,并通过跨时间视角的一致性学习抽象的脑动态表征,在线性探测设置下即可达到 SOTA 性能。
- CPiRi: Channel Permutation-Invariant Relational Interaction for Multivariate Time Series Forecasting
-
提出 CPiRi 框架,通过冻结预训练时序编码器 + 可训练置换等变空间模块 + 通道打乱训练策略,在不牺牲跨通道建模能力的前提下实现通道排序不变性(CPI),在多个交通基准上达到 SOTA。
- Decentralized Attention Fails Centralized Signals: Rethinking Transformers for Medical Time Series
-
提出 TeCh 框架,核心是用 CoTAR(Core Token Aggregation-Redistribution)模块替代 Transformer 中的标准注意力来建模医学时间序列的通道依赖——通过引入全局"核心 token"充当代理,先聚合所有通道信息再重分配回每个通道,复杂度从 \(O(n^2)\) 降至 \(O(n)\),在 APAVA 数据集上精度 86.86%(超 Medformer 12.13%),内存仅 33%、推理时间仅 20%。
- Delta-XAI: A Unified Framework for Explaining Prediction Changes in Online Time Series Monitoring
-
提出 Delta-XAI 统一框架,通过包装函数将14种现有XAI方法适配到在线时间序列预测变化解释场景,并提出 SWING(Shifted Window Integrated Gradients)方法,利用过去观测值构建积分路径以捕获时序依赖关系,在多种评估指标上持续优于现有方法。
- Dissecting Chronos: Sparse Autoencoders Reveal Causal Feature Hierarchies in Time Series Foundation Models
-
首次将稀疏自编码器 (SAE) 应用于时间序列基础模型 Chronos-T5-Large,通过 392 次因果消融实验揭示了深度依赖的特征层级:中层编码器集中了因果关键的突变检测特征,而语义最丰富的末层编码器反而因果重要性最低。
- EDINET-Bench: Evaluating LLMs on Complex Financial Tasks using Japanese Financial Statements
-
构建了基于日本 EDINET 十年年报的金融基准 EDINET-Bench,包含会计欺诈检测、盈利预测和行业分类三项专家级任务,发现即使是 SOTA LLM 也仅略优于逻辑回归。
- FeDaL: Federated Dataset Learning for General Time Series Foundation Models
-
提出 FeDaL 联邦框架,通过客户端域偏差消除(DBE)和服务器全局偏差消除(GBE)从头训练通用时序基础模型,在8类下游任务上以远少于集中式TSFM的参数达到竞争甚至超越的性能。
- Free Energy Mixer
-
提出 Free Energy Mixer (FEM),通过将注意力的值读取重新定义为自由能(log-sum-exp)优化问题,实现了逐通道的值感知后验选择,克服了标准注意力"无损存储但有损读取"的固有瓶颈,可即插即用替换 softmax/线性注意力/RNN/SSM,在 NLP、视觉和时间序列任务上一致提升。
🕸️ 图学习 (20)¶
- A Geometric Perspective on the Difficulties of Learning GNN-based SAT Solvers
-
从图 Ricci 曲率的几何视角证明随机 k-SAT 问题的二部图表示具有固有的负曲率,且曲率随问题难度增加而下降,建立了 GNN 过压缩 (oversquashing) 与 SAT 求解困难之间的理论联系,并通过测试时图重布线验证了该理论。
- Are We Measuring Oversmoothing in Graph Neural Networks Correctly?
-
指出广泛使用的Dirichlet energy指标无法在实际场景中正确捕获GNN过平滑现象,提出以特征表征的数值秩/有效秩(effective rank)作为替代度量。在深度2–24、各深度独立训练的设定下,Erank与准确率的平均相关性达0.91(且方向一致为正),而Dirichlet energy平均仅−0.72、相关方向在数据集间反复横跳(在大规模OGB-Arxiv等场景下尤其失效);并从理论上证明对线性及非负权重的非线性GNN族其特征矩阵数值秩收敛到1(秩坍塌),从而把过平滑重新定义为秩坍塌而非特征向量对齐。
- Beyond Simple Graphs: Neural Multi-Objective Routing on Multigraphs
-
首次提出针对多重图(multigraph)的神经组合优化路由方法 GMS,包含直接在多重图上边级自回归构造的 GMS-EB 和先学习剪枝再节点级路由的双头 GMS-DH 两个变体,在非对称多目标 TSP 和 CVRP 上实现了接近精确求解器 LKH 的性能且速度快数十倍。
- Cooperative Sheaf Neural Networks
-
提出在有向图上定义 cellular sheaf 的 in/out-degree Laplacian,构建 Cooperative Sheaf Neural Network (CSNN),使节点能独立选择信息传播/接收策略,从而同时缓解过度挤压(oversquashing)和处理异配(heterophilic)任务。
- Entropy-Guided Dynamic Tokens for Graph-LLM Alignment in Molecular Understanding
-
提出 EDT-Former(Entropy-guided Dynamic Token Transformer),通过熵引导的动态token生成机制,在冻结图编码器和LLM之间建立高效对齐,无需微调LLM主干网络即在分子问答、分子指令和属性预测等多个基准上达到SOTA。
- Explore-on-Graph: Incentivizing Autonomous Exploration of LLMs on Knowledge Graphs
-
提出 Explore-on-Graph(EoG),通过 SFT + 两阶段强化学习(结果奖励 + 路径精炼奖励),激励 LLM 在知识图谱上自主探索超出训练分布的推理路径,在五个 KGQA 基准上超越 GPT-5 和 Gemini 2.5 Pro。
- GRAPHITE: Graph Homophily Booster — Reimagining the Role of Discrete Features in Heterophilic Graph Learning
-
提出 GRAPHITE,一种通过引入"特征节点"作为 hub 间接连接共享特征的节点来直接提升图同质性的非学习图变换方法,首次从"改变图结构"而非"改变 GNN 架构"的角度解决异质图问题,在 Actor 等困难基准上显著超越 27 种 SOTA 方法。
- Graph Tokenization for Bridging Graphs and Transformers
-
提出 GraphTokenizer 框架,将图通过可逆的频率引导序列化转换为符号序列,再用 BPE 学习图子结构词汇表,使标准 Transformer(如 BERT/GTE)无需任何架构修改即可直接处理图数据,在 14 个 benchmark 上达到 SOTA。
- GraphUniverse: Synthetic Graph Generation for Evaluating Inductive Generalization
-
提出 GraphUniverse 框架,通过分层生成具有持久语义社区的图族(graph families),首次实现对图学习模型归纳泛化能力的系统性评估,揭示了 transductive 性能无法可靠预测 inductive 泛化能力这一关键发现。
- Improving Long-Range Interactions in Graph Neural Simulators via Hamiltonian Dynamics
-
提出 Information-preserving Graph Neural Simulators (IGNS),利用 port-Hamiltonian 动力学结构在图上保持信息不耗散,结合 warmup 初始化、几何编码和多步训练目标,在 6 个物理仿真基准上全面超越现有图神经仿真器。
🔗 因果推理 (17)¶
- Action-Guided Attention for Video Action Anticipation
-
提出动作引导注意力 (AGA) 机制,用模型自身的动作预测序列作为注意力的 Query 和 Key(而非像素特征),结合自适应门控融合历史上下文和当前帧特征,在 EPIC-Kitchens-100 上实现从验证集到测试集的良好泛化,同时支持训练后的可解释性分析。
- An Orthogonal Learner for Individualized Outcomes in Markov Decision Processes
-
将因果推断中的半参数效率理论系统引入MDP的Q函数估计,证明经典的Q-regression和FQE本质上是有plug-in偏差的朴素学习器,并提出DRQQ-learner——一个同时具备双重鲁棒性、Neyman正交性和准oracle效率的元学习器,通过推导有效影响函数(EIF)构造去偏二阶段损失,在Taxi和Frozen Lake环境中全面超越基线方法。
- Counterfactual Explanations on Robust Perceptual Geodesics
-
提出 PCG(Perceptual Counterfactual Geodesic)方法,在鲁棒感知流形上通过测地线优化生成语义忠实的反事实解释,两阶段优化确保路径既感知自然又达到目标类别,在 AFHQ 上 FID=8.3 远优于 RSGD 的 12.9。
- Direct Doubly Robust Estimation of Conditional Quantile Contrasts
-
提出首个对条件分位数比较器 (CQC) 的直接估计方法,通过显式参数化 CQC 并结合双重鲁棒梯度下降,在理论上保持双重鲁棒性的同时,实验中在估计精度、可解释性和计算效率上全面优于现有的间接反演方法。
- Distributional Equivalence in Linear Non-Gaussian Latent-Variable Cyclic Causal Models
-
首次在线性非高斯设定下、不依赖任何结构假设,给出了含潜变量和环的因果图之间分布等价性的完整图准则,核心工具是新提出的边秩约束(edge rank constraints),据此开发了遍历等价类和从数据恢复因果模型的算法——这是参数化因果模型中首个无结构假设的等价性刻画和发现方法。
- Efficient Ensemble Conditional Independence Test Framework for Causal Discovery
-
提出 E-CIT(集成条件独立性检验)框架,通过将数据分割为子集后独立执行检验并基于稳定分布的 p 值聚合方法合并结果,将任意条件独立性检验的计算复杂度降至关于样本量线性,同时在重尾噪声和真实数据等复杂场景下保持甚至提升检验功效。
- Flattery, Fluff, and Fog: Diagnosing and Mitigating Idiosyncratic Biases in Preference Models
-
系统研究偏好模型对五种表面特征(冗长、结构化、术语、谄媚、模糊)的过度依赖——通过因果反事实对量化偏差来源于训练数据的分布不平衡,并提出基于反事实数据增强 (CDA) 的后训练方法,将模型与人类判断的平均失校准率从 39.4% 降至 32.5%。
- Function Induction and Task Generalization: An Interpretability Study with Off-by-One Addition
-
通过 off-by-one addition(如 1+1=3, 2+2=5)这一反事实任务,利用 path patching 发现大语言模型内部存在 function induction 机制——一种超越 token 级别 pattern matching、在函数级别进行归纳推理的注意力头电路,并证明该机制可跨任务复用。
- Journey to the Centre of Cluster: Harnessing Interior Nodes for A/B Testing under Network Interference
-
针对网络干扰下 A/B 测试中 GATE 估计的高方差问题,提出 Mean-in-Interior (MII) 估计器——仅对 cluster 内部节点取均值,大幅降低方差;再通过反事实预测器进行协变量偏移校正,得到增广版 AMII 估计器,同时实现低偏差和低方差。
- Learning Robust Intervention Representations with Delta Embeddings
-
提出因果 Delta 嵌入(CDE)框架,将干预/动作表示为预干预和后干预状态在潜空间中的向量差,通过独立性、稀疏性和不变性三种约束学习鲁棒的干预表示,在 Causal Triplet 挑战中显著超越基线的 OOD 泛化性能,且能自动发现反义动作的反平行语义结构。
🔄 自监督/表示学习 (16)¶
- Adaptive Test-Time Training for Predicting Need for Invasive Mechanical Ventilation in Multi-Center Cohorts
-
提出AdaTTT框架,通过动态特征感知self-supervised学习(自适应掩码策略)和原型引导的部分最优传输对齐,在ICU多中心EHR数据上实现鲁棒的测试时适应,用于提前24小时预测有创机械通气需求。
- Chart Deep Research in LVLMs via Parallel Relative Policy Optimization
-
提出 PRPO(Parallel Relative Policy Optimization),通过在奖励维度和数据类型两个层面做并行解耦优化,解决 GRPO 在多维奖励信号干扰和异构数据梯度冲突下的训练瓶颈;同时构建 MCDR-Bench,基于"错误唯一性原则"将主观生成评估转化为客观错误识别,实现图表深度研究能力的量化评估。
- Difficult Examples Hurt Unsupervised Contrastive Learning: A Theoretical Perspective
-
通过相似度图模型理论分析严格证明"困难样本"(跨类高相似度样本对)会损害无监督对比学习性能——困难样本使泛化误差界严格恶化,提出删除困难样本、调节 margin 和温度缩放三种理论指导的缓解策略,在 TinyImageNet 上带来高达 10.42% 的线性探测准确率提升。这一发现是反直觉的:深度学习中通常"更多数据更好",但对比学习中精心移除困难样本反而有益。
- Exploiting Low-Dimensional Manifold of Features for Few-Shot Whole Slide Image Classification
-
发现病理基础模型特征具有低维流形几何结构(有效秩仅29.7/512维),而线性层会破坏这种结构导致少样本过拟合,提出即插即用的MR Block(冻结随机矩阵做几何锚+低秩残差路径做任务适配)在少样本WSI分类上达到SOTA。
- Fly-CL: A Fly-Inspired Framework for Enhancing Efficient Decorrelation and Reduced Training Time in Pre-trained Model-based Continual Representation Learning
-
受果蝇嗅觉回路启发,提出 Fly-CL 框架,通过稀疏随机投影+top-k操作+流式岭分类三阶段渐进去相关,在预训练模型持续学习中大幅降低训练时间的同时达到SOTA水平。
- InfoNCE Induces Gaussian Distribution
-
从理论上证明 InfoNCE 损失函数在两种互补机制下会诱导表征趋向高斯分布:经验理想化路线(对齐+球面均匀性→高斯)和正则化路线(消失正则项→各向同性高斯),并在合成数据和 CIFAR-10 上验证。
- Maximizing Asynchronicity in Event-based Neural Networks
-
提出EVA框架,将事件类比为语言token,用基于RWKV-6的线性注意力异步编码器实现逐事件特征更新,结合多表示预测(MRP)+下一表示预测(NRP)的自监督学习获得可泛化特征,首次在异步-同步(A2S)范式中成功完成高难度目标检测任务(Gen1数据集0.477 mAP)。
- Maximizing Incremental Information Entropy for Contrastive Learning
-
提出IE-CL(Incremental-Entropy Contrastive Learning)框架,通过显式优化增强视图间的熵增益(而非仅最大化互信息),将编码器视为信息瓶颈并联合优化可学习变换(生成熵)与编码器正则化器(保留熵),在小batch设置下一致提升CIFAR-10/100、STL-10和ImageNet上的对比学习性能,且核心模块可即插即用集成到现有框架。
- No Other Representation Component Is Needed: Diffusion Transformers Can Provide Representation Guidance by Themselves
-
提出 Self-Representation Alignment (SRA),发现扩散 Transformer 内部表征沿"层数增加 + 噪声降低"两个维度呈现从差到好的判别质量梯度,据此将学生网络早层高噪声表征对齐到 EMA 教师晚层低噪声表征,完全不需要任何外部表征组件(DINOv2/CLIP/MAE),即可在 DiT 和 SiT 上大幅加速收敛并提升生成质量(SiT-XL/2 在 800 epoch 达到 FID 1.58,可比依赖 DINOv2 的 REPA)。
- PonderLM: Pretraining Language Models to Ponder in Continuous Space
-
提出 PonderLM,在预训练阶段引入"沉思"机制——将预测概率分布加权求和为连续嵌入后反复前向传播,无需标注数据或强化学习,使 2.8B 模型在 9 个下游任务上超越 6.9B 模型。
📐 学习理论 (7)¶
- An Efficient, Provably Optimal Algorithm for the 0-1 Loss Linear Classification Problem
-
提出增量单元枚举算法(ICE),首个具有严格证明的独立算法,可以在 \(O(N^{D+1})\) 时间内精确求解0-1损失线性分类问题的全局最优解,并扩展到多项式超曲面分类。
- Deep FlexQP: Accelerated Nonlinear Programming via Deep Unfolding
-
提出 FlexQP——基于 \(\ell_1\) 弹性松弛的"永远可行"凸二次规划(QP)求解器,结合深度展开(deep unfolding)学习 LSTM 反馈策略加速收敛得到 Deep FlexQP;在 SQP 框架中作为子模块,解非线性轨迹优化比 OSQP 快 4-16 倍,预测安全滤波器的安全违规减少 70%+、任务完成率提升 43%。
- Function Spaces Without Kernels: Learning Compact Hilbert Space Representations
-
证明函数编码器(Function Encoders)通过学习神经网络基函数定义了一个有效的核,建立了神经特征学习与RKHS理论的桥梁,并提出PCA引导的紧凑基选择算法和有限样本泛化界。
- Lipschitz Bandits with Stochastic Delayed Feedback
-
首次系统研究连续臂空间 Lipschitz bandit 在随机延迟反馈下的学习问题,针对有界延迟提出 Delayed Zooming 算法(通过 lazy update 机制保持 \(\Delta(x) \leq 6r_t(x)\) 的子最优 gap 界),针对无界延迟提出 DLPP 分阶段剪枝策略(遗憾与延迟分位数 \(Q(p)\) 挂钩),并建立实例相关下界证明 DLPP 近最优。
- Scalable Random Wavelet Features: Efficient Non-Stationary Kernel Approximation with Convergence Guarantees
-
提出 Random Wavelet Features (RWF),通过从小波族中随机采样构建可扩展的非平稳核近似,保留随机特征的线性时间复杂度,同时具有正定性、无偏性和一致收敛保证。
- The Expressive Limits of Diagonal SSMs for State-Tracking
-
建立了输入依赖复数对角(DCD)SSM 在群状态追踪任务上的完整表达能力刻画:单层不能追踪任何非阿贝尔群,\(k\) 层能追踪群 \(G\) 当且仅当 \(G\) 存在长度为 \(k\) 的子正规链且因子均为阿贝尔群——精确定义了深度对表达能力的严格提升,同时实验揭示表达能力与可学习性之间的显著 gap。
- The Price of Robustness: Stable Classifiers Need Overparameterization
-
建立了不连续分类器的稳定性-泛化界,证明了分类任务中的"鲁棒性代价定律":任何参数量 \(p \approx n\) 的插值分类器必然不稳定,实现高稳定性需要 \(p \approx nd\) 量级的过参数化。
🧬 计算生物 (38)¶
- A Genetic Algorithm for Navigating Synthesizable Molecular Spaces
-
提出 SynGA,一种直接在合成路线(合成树)上操作的遗传算法,通过自定义的交叉和变异算子将搜索严格约束在可合成分子空间内,结合 ML 驱动的构建块过滤实现 SOTA 的可合成类似物搜索和属性优化性能。
- AFD-INSTRUCTION: A Comprehensive Antibody Instruction Dataset with Functional Annotations for LLM-Based Understanding and Design
-
构建了首个大规模抗体功能注释指令数据集AFD-Instruction(430K+条目),通过多智能体文献抽取pipeline对齐抗体序列与自然语言功能描述,用于指令微调通用LLM使其掌握抗体理解和功能导向设计能力,在5类分类任务上平均准确率提升20+点。
- Antibody: Strengthening Defense Against Harmful Fine-Tuning for Large Language Models via Attenuating Harmful Gradient Influence
-
提出Antibody防御框架:在对齐阶段通过平坦度正则化使模型处于有害损失的平坦区域(梯度小→难被攻击),在微调阶段用基于模型安全知识的样本加权方案(对比目标完成 vs 拒绝的似然比)抑制有害样本的学习,平均Harmful Score从15.29%降至7.04%。
- AntigenLM: Structure-Aware DNA Language Modeling for Influenza
-
AntigenLM 是一个保留基因组功能单元完整性的 GPT-2 风格 DNA 语言模型,通过在流感病毒全基因组上预训练并微调,能够自回归预测未来流行毒株的抗原序列,在氨基酸错配率上显著优于进化模型 beth-1 和通用基因组模型。
- ConfHit: Conformal Generative Design with Oracle Free Guarantees
-
提出 ConfHit 框架,利用密度比加权的共形排列 p 值实现"认证"(判断生成批次是否包含 hit)和"设计"(精简候选集同时保持统计保证),在无需实验验证 oracle 和存在分布偏移的条件下,为生成式分子设计提供有限样本 \(1-\alpha\) 覆盖保证。
- Contact-Guided 3D Genome Structure Generation of E. coli via Diffusion Transformers
-
提出 DiffBacChrom——基于条件扩散 Transformer (CrossDiT) 从 Hi-C 接触图谱生成大肠杆菌三维基因组构象集合,通过 ResNet VAE 保持逐 bin 对齐的潜空间编码、Transformer 编码器 + 交叉注意力注入 Hi-C 条件、flow-matching 训练,生成的集合在距离衰减 P(s) 和 SCC 指标上与输入 Hi-C 高度一致,同时保持构象多样性。
- Controllable Sequence Editing for Biological and Clinical Trajectories
-
提出 Clef,一个基于"时间概念"(temporal concepts)的可控序列编辑模型,能够在给定条件(如药物、手术)下对生物/临床多变量轨迹进行即时和延迟编辑,在细胞重编程和患者实验室检测数据上,即时编辑 MAE 提升 16.28%,延迟编辑提升 26.73%,零样本反事实生成提升达 62.84%。
- Controlling Repetition in Protein Language Models
-
首次系统性研究蛋白质语言模型(PLM)中的病态重复问题,提出统一的重复度量指标 \(R(x)\) 和效用指标 \(U(x)\),并设计 UCCS(Utility-Controlled Contrastive Steering)方法,通过在隐层注入与重复解耦的引导向量,在不重训模型的前提下有效抑制重复同时保持折叠可信度。
- CORDS: Continuous Representations of Discrete Structures
-
提出 CORDS 框架,通过将变大小离散集合(检测框、分子原子)双射映射为连续的密度场和特征场,使模型可在场空间中学习并精确解码回离散集合,避免了固定 slot 或 padding 的限制。
- CryoNet.Refine: A One-step Diffusion Model for Rapid Refinement of Structural Models with Cryo-EM Density Map Restraints
-
提出CryoNet.Refine——首个基于AI的冷冻电镜(cryo-EM)原子模型精修框架:设计单步扩散模型(初始化自Boltz-2权重)→创新可微分密度生成器(物理模拟合成密度图)→首次将密度图相关性作为可微损失函数(余弦相似度)→联合Ramachandran/Rotamer/键角等几何约束损失→测试时优化策略逐案定制→在120个蛋白质/DNA-RNA复合物上全面超越Phenix.real_space_refine(CC_mask 0.59 vs 0.54, Ramachandran favored 98.92%)。
🛡️ AI 安全 (27)¶
- Action-Free Offline-to-Online RL via Discretised State Policies
-
首次形式化"无动作离线到在线RL"设定,提出OSO-DecQN算法:通过将连续状态差分离散化为{-1, 0, 1}三类标记,在仅含(s, r, s')元组的数据上预训练状态策略(预测期望的下一状态变化方向而非动作),再通过策略切换机制+在线训练的逆动力学模型将状态策略转化为可执行动作,引导在线agent加速学习,在D4RL和DeepMind Control Suite上(含78维状态空间)一致提升收敛速度和渐近性能。
- Adaptive Methods Are Preferable in High Privacy Settings: An SDE Perspective
-
首次用随机微分方程(SDE)框架分析差分隐私优化器,揭示 DP-SGD 和 DP-SignSGD 在隐私噪声作用下的本质差异:自适应方法在高隐私设置下具有更优的隐私-效用权衡 \(\mathcal{O}(1/\varepsilon)\) vs \(\mathcal{O}(1/\varepsilon^2)\),且超参数跨隐私预算可迁移。
- AP-OOD: Attention Pooling for Out-of-Distribution Detection
-
提出AP-OOD,将Mahalanobis距离的均值池化替换为可学习的注意力池化,解决了均值池化丢失token级异常信息的问题,在文本OOD检测中将XSUM摘要的FPR95从27.84%降至4.67%,支持无监督到半监督的平滑过渡。
- ATEX-CF: Attack-Informed Counterfactual Explanations for Graph Neural Networks
-
提出 ATEX-CF 框架,首次将对抗攻击的边添加策略与反事实解释的边删除策略统一起来,通过联合优化预测翻转、稀疏性和合理性,为 GNN 生成更忠实、更简洁、更合理的实例级反事实解释。
- Back to Square Roots: An Optimal Bound on the Matrix Factorization Error for Multi-Epoch Differentially Private SGD
-
提出 Banded Inverse Square Root (BISR) 矩阵分解方法,通过对逆相关矩阵(而非相关矩阵本身)施加带状结构,首次在多轮参与差分隐私 SGD 中实现渐近最优的分解误差界,并配套低存储优化变体 BandInvMF。
- Beware Untrusted Simulators -- Reward-Free Backdoor Attacks in Reinforcement Learning
-
提出 Daze 攻击——恶意模拟器开发者无需访问或修改智能体的奖励函数,仅通过操控状态转移来植入后门:智能体在触发状态下不执行目标动作时被迫执行随机动作("眩晕"),从而在理论上保证攻击成功且隐蔽,并首次在真实机器人硬件上演示了 RL 后门攻击。
- Beyond Match Maximization and Fairness: Retention-Optimized Two-Sided Matching
-
提出Matching for Retention(MRet)算法,首次将双边匹配平台的优化目标从"最大化匹配数"或"满足公平性"转向"直接最大化用户留存率",通过学习个性化留存曲线并利用凹函数性质将NP-hard的双方留存增益联合优化降为O(N log N)的排序问题,在合成数据和日本大型约会平台真实数据上均显著提升留存。
- Bridging Fairness and Explainability: Can Input-Based Explanations Promote Fairness in Hate Speech Detection?
-
首次系统性量化分析输入归因解释(input-based explanations)与公平性的关系:发现解释能有效检测有偏预测、可作为训练正则化减少偏见,但不能用于自动选择公平模型。
- Co-LoRA: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients
-
提出 FedMosaic 框架解决个性化联邦学习中的双重异构问题:RELA 通过梯度相似度度量任务相关性实现定制化聚合(解决数据异构),Co-LoRA 通过维度不变的 \(P \in \mathbb{R}^{r \times r}, Q \in \mathbb{R}^r\) 模块实现跨异构架构(如 Llama vs Qwen)的知识共享(解决模型异构),在新提出的 40 任务多模态 PFL benchmark DRAKE 上大幅超越 SOTA。
- Dataless Weight Disentanglement in Task Arithmetic via Kronecker-Factored Approximate Curvature
-
该工作将曲率近似的经典理论(KFAC)与任务算术的实际需求巧妙结合,提出了一种无需外部数据的权重解缠正则化方法。理论推导清晰,从表征漂移正则化 → Jacobian Gramian → GGN → KFAC 的逻辑链条流畅。实验覆盖视觉和语言两个领域的多种模型规模,对 \(\alpha\) 超参数的鲁棒性分析很实用。不足在于 KFAC 对大模型仍有 \(O(d^2)\) 存储开销,且在文本领域与使用外部数
🏥 医学图像 (22)¶
- Adaptive Domain Shift in Diffusion Models for Cross-Modality Image Translation
-
提出CDTSDE框架,在扩散模型的逆向SDE中嵌入可学习的空间自适应域混合场 \(\Lambda_t\),使跨模态翻译路径沿低能量流形前进,在MRI模态转换、SAR→光学、工业缺陷语义映射任务上以更少去噪步数实现更高保真度。
- Biologically Plausible Online Hebbian Meta-Learning: Two-Timescale Local Rules for Spiking Neural Brain Interfaces
-
提出一种无需BPTT的在线SNN解码器,通过三因子Hebbian局部学习规则结合双时间尺度eligibility trace和自适应学习率控制,在O(1)内存下实现可比离线训练方法的BCI神经解码精度(Pearson R≥0.63/0.81),并在闭环仿真中展现了对神经信号非平稳性的持续适应能力。
- Boosting Medical Visual Understanding From Multi-Granular Language Learning
-
提出 Multi-Granular Language Learning (MGLL),一个即插即用的对比学习框架,通过 soft CLIP loss、point-wise loss 和 smooth KL 散度联合优化,实现医学图像与多标签多粒度文本描述的对齐,在眼底和 X 光数据集上全面超越 SOTA 方法,并可作为视觉编码器嵌入多模态大语言模型提升诊断准确率最高达 34.1%。
- Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer
-
提出 Brain-IT 框架,通过脑启发式的 Brain Interaction Transformer (BIT) 将功能相似的脑体素聚类为跨被试共享的 Brain Token,并从中预测局部化的语义和结构图像特征,实现从 fMRI 到图像的高保真重建,仅用 1 小时数据即达到先前方法 40 小时的性能。
- Brain-Semantoks: Learning Semantic Tokens of Brain Dynamics with a Self-Distilled Foundation Model
-
提出 Brain-Semantoks,一种基于语义分词器和自蒸馏目标的 fMRI 基础模型,将大脑功能网络聚合为鲁棒的语义 token,并通过跨时间视角的一致性学习抽象的脑动态表征,在线性探测设置下即可达到 SOTA 性能。
- CARE: Towards Clinical Accountability in Multi-Modal Medical Reasoning with an Evidence-Grounded Agentic Framework
-
提出 CARE 框架——将医学 VQA 拆分为"实体提议→指称分割→证据引导问答"三阶段专家管道,用 RLVR 微调各 VLM,并引入 GPT-5 作为动态协调器进行工具规划与 CoT 审查,在 4 个医学 VQA 基准上以 10B 参数量(77.54% 平均准确率)超越 32B 端到端 SOTA(72.29%)。
- Characterizing Human Semantic Navigation in Concept Production as Trajectories in Embedding Space
-
提出将人类概念产生过程建模为 Transformer 嵌入空间中的累积轨迹,定义 5 个运动学指标(距离、速度、加速度、熵、质心距离),在 4 个数据集(3 种语言、神经退行性疾病/脏话流畅性/属性列举)上成功区分临床组和概念类别,且不同嵌入模型产生高度一致的结果。
- COMPASS: Robust Feature Conformal Prediction for Medical Segmentation Metrics
-
COMPASS 通过在分割网络的中间特征空间沿对目标度量最敏感的低维子空间进行线性扰动来构建 conformal prediction 区间,在四个医学分割任务上实现了比传统 CP 方法显著更窄的预测区间,同时保持有效覆盖率。
- DISCO: Densely-overlapping Cell Instance Segmentation via Adjacency-aware Collaborative Coloring
-
将密集重叠细胞实例分割建模为图着色问题,提出"显式标记冲突节点 + 隐式邻接约束消歧"的分治框架 Disco,通过 BFS 分解细胞邻接图并引入五种协同损失函数,在高密度病理数据集 GBC-FS 2025 上 PQ 提升 7.08%,同时在四个异质数据集上均取得 SOTA。
- Distributional Consistency Loss: Beyond Pointwise Data Terms in Inverse Problems
-
提出分布一致性(DC)损失,用分布级别的校准替代传统逐点数据保真项(如MSE/NLL),避免对噪声的过拟合,在DIP去噪和PET图像重建中显著提升性能且无需早停。
⚛️ 物理/科学计算 (17)¶
- Astral: Training Physics-Informed Neural Networks with Error Majorants
-
提出 Astral 损失函数(基于函数型后验误差上界/error majorant),替代传统 PiNN 中的残差损失来训练物理信息神经网络,实现训练过程中可靠的误差估计,并在扩散方程、Maxwell 方程等多种 PDE 上取得了更好或相当的精度。
- Augmenting Representations with Scientific Papers
-
提出首个将 X 射线光谱与科学文献通过对比学习对齐的多模态基础模型框架,在共享潜在空间中实现 20% Recall@1% 的跨模态检索,物理参数估计提升 16–18%,同时发现候选脉动超亮 X 射线源等罕见天体。
- Contact Wasserstein Geodesics for Non-Conservative Schrödinger Bridges
-
提出非守恒广义 Schrödinger 桥 (NCGSB)——基于接触哈密顿力学允许能量随时间变化,通过 Contact Wasserstein Geodesic (CWG) 将桥问题转化为有限维 Jacobi 度量上的测地线计算,用 ResNet 参数化实现近线性复杂度且支持引导生成,在流形导航、分子动力学、图像生成等任务上大幅超越迭代式 SB 求解器。
- Deep Learning for Subspace Regression
-
将缩减阶建模(ROM)中的子空间预测问题形式化为 Grassmann 流形上的回归任务,提出专用损失函数与子空间嵌入(subspace embedding)技术——通过预测比目标更大维度的子空间来降低映射复杂度——在特征值问题、参数化 PDE 和迭代法加速等场景中均取得显著效果。
- DGNet: Discrete Green Networks for Data-Efficient Learning of Spatiotemporal PDEs
-
基于Green函数理论,将叠加原理嵌入物理-神经混合架构,构建离散Green网络DGNet,在仅用数十条训练轨迹的条件下实现SOTA精度,并展现对未见源项的鲁棒零样本泛化。
- DRIFT-Net: A Spectral--Coupled Neural Operator for PDEs Learning
-
提出 DRIFT-Net 双分支神经算子,通过受控低频混合(谱分支)和局部细节保真(图像分支)的带宽融合(radial gating),解决窗口注意力中全局谱耦合不足导致的自回归漂移问题,在 Navier-Stokes 基准上误差降低 7%-54%。
- Empirical Stability Analysis of Kolmogorov-Arnold Networks in Hard-Constrained Recurrent Physics-Informed Discovery
-
在硬约束递归物理信息架构(HRPINN)中系统评估vanilla KAN替代MLP作为残差分支的效果——通过3项互补研究×100随机种子发现KAN在单变量可分残差(Duffing的 \(-0.3x^3\))上的表现具有竞争力,但在乘法耦合残差(Van der Pol的 \((1-x^2)v\))上系统性失败且超参数极度脆弱,标准MLP在几乎所有配置下稳定性远优。
- Feedback-driven Recurrent Quantum Neural Network Universality
-
本文首次为基于反馈的循环量子神经网络 (RQNN) 建立了定量逼近误差界和普适性证明,表明 RQNN 可在 qubit 数仅以 \(\lceil\log_2(\varepsilon^{-1})\rceil\) 对数增长的条件下,以线性读出层逼近任意 fading memory 滤波器,且不受维度灾难影响。
- HyperKKL: Enabling Non-Autonomous State Estimation through Dynamic Weight Conditioning
-
提出 HyperKKL,用超网络(hypernetwork)编码外源输入信号并即时生成 KKL 观测器的变换映射参数,使非自治非线性系统的状态估计无需重新训练或在线梯度更新,在 Duffing、Van der Pol、Lorenz、Rössler 四个经典非线性系统上验证了方法的有效性和局限性。
- Initialization Schemes for Kolmogorov-Arnold Networks: An Empirical Study
-
首次对样条KAN的初始化策略进行系统性研究,提出LeCun/Glorot启发的方差保持方案和可调幂律初始化族,在126K+模型实例的大规模实验中证明幂律初始化在函数拟合和PDE求解上全面超越基线,Glorot方案在大参数量模型上增益显著,NTK特征谱分析揭示了其背后的优化动力学机制。
🩺 医疗 NLP (13)¶
- ATPO: Adaptive Tree Policy Optimization for Multi-Turn Medical Dialogue
-
提出 ATPO(自适应树策略优化)算法,将多轮医疗对话建模为层级马尔可夫决策过程(H-MDP),通过不确定性感知的自适应树扩展机制动态分配rollout预算,结合Bellman误差和动作值方差的复合不确定性度量来引导探索,在三个医学对话基准上以Qwen3-8B超越GPT-4o。
- BiomedSQL: Text-to-SQL for Scientific Reasoning on Biomedical Knowledge Bases
-
提出 BiomedSQL,首个专门评估 Text-to-SQL 系统在生物医学知识库上科学推理能力的基准,包含 68,000 个问题/SQL/答案三元组,揭示当前最强模型(GPT-o3-mini 62.6%)与领域专家(90%)之间仍有巨大差距。
- Can SAEs Reveal and Mitigate Racial Biases of LLMs in Healthcare?
-
研究稀疏自编码器(SAE)能否揭示和缓解 LLM 在医疗场景中的种族偏见:发现 SAE 能识别出与种族相关的有害联想(如黑人与暴力),但在复杂临床任务中缓解偏见的效果有限(FLDD < 3%),远不如简单的提示策略(FLDD 8-15%)。
- CounselBench: A Large-Scale Expert Evaluation and Adversarial Benchmarking of LLMs in Mental Health QA
-
联合100名持证心理健康专家构建CounselBench双组件基准——CounselBench-EVAL(2,000条六维度专家评估)和CounselBench-Adv(120个对抗性问题+1,080条响应标注),系统性揭示LLM在心理健康开放式问答中表面得分高但存在过度泛化、擅自医疗建议等安全隐患,同时证明LLM-as-Judge在安全关键领域严重不可靠。
- EMR-AGENT: Automating Cohort and Feature Extraction from EMR Databases
-
提出EMR-AGENT,首个基于LLM Agent的电子病历(EMR)自动化预处理框架,通过动态SQL交互替代手工规则编写,实现跨数据库的队列选择、特征提取和代码映射,在MIMIC-III/eICU/SICdb上表现优异并具强泛化能力。
- From Conversation to Query Execution: Benchmarking User and Tool Interactions for EHR Database Agents
-
提出EHR-ChatQA基准,首次评估数据库Agent在电子病历场景中的端到端交互工作流(澄清模糊查询→解决术语不匹配→生成SQL→返回答案),发现最强模型(o4-mini)的Pass@5超90%但Pass∧5(全部成功)大幅下降(差距达60%),暴露了安全关键领域的鲁棒性缺陷。
- HistoPrism: Unlocking Functional Pathway Analysis from Pan-Cancer Histology via Gene Expression Prediction
-
本文提出 HistoPrism,一个高效的 Transformer 架构,通过交叉注意力注入癌症类型条件来从 H&E 病理图像预测泛癌基因表达,并提出基于 Hallmark/GO 通路的 Gene Pathway Coherence (GPC) 评估框架,在通路级别预测上大幅超越 STPath,尤其在低方差核心生物通路上优势显著。
- Knowledgeable Language Models as Black-Box Optimizers for Personalized Medicine
-
提出 LEON(LLM-based Entropy-guided Optimization with kNowledgeable priors),一种数学原理严格的方法,将个性化医疗治疗方案设计建模为条件黑箱优化问题,通过熵约束和对抗性源批评模型引导 LLM 在不微调的情况下作为零样本优化器提出个性化治疗计划。
- mCLM: A Modular Chemical Language Model that Generates Functional and Makeable Molecules
-
提出 mCLM(模块化化学语言模型),通过将分子表示为可合成构建模块的序列,使 LLM 能生成同时满足药理功能和自动化合成可行性的分子,在 430 种 FDA 批准药物上显著改善了药代动力学和毒性性质。
- MedAgentGym: A Scalable Agentic Training Environment for Code-Centric Reasoning in Biomedical Data Science
-
构建了首个统一的生物医学数据科学 Agent 训练环境 MedAgentGym,包含 72,413 个任务实例(覆盖 12 个真实场景、129 个类别),配备可执行沙盒和可验证 ground truth,系统基准评估 29 个 LLM 揭示商业/开源差距,并通过高效多线程轨迹采样 + 离线/在线 RL 训练出 Med-Copilot,分别获得 +43.02%/+45.28% 提升,达到与 GPT-4o 竞争的性能。
👥 社会计算 (12)¶
- Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation
-
提出将 Tsallis 熵(SE 的广义形式)引入 VLM 的 Test-Time Adaptation,并进一步发展为自适应去偏 Tsallis 熵(ADTE),为每个类别定制去偏参数 \(q^l\),在不引入分布特定超参数的情况下比 Shannon 熵选择更可靠的高置信视图,在 ImageNet 及其 5 个变体和 10 个跨域 benchmark 上均超越 SOTA。
- BiasFreeBench: a Benchmark for Mitigating Bias in Large Language Model Responses
-
本文构建了 BiasFreeBench 基准,首次在统一框架下系统比较 8 种主流去偏方法(4 种 prompting + 4 种 training),聚焦于 LLM 响应层面的偏差评估,并提出了 Bias-Free Score 指标,发现 prompting 方法(尤其是 CoT)整体优于 training 方法,而 DPO 在跨偏差类型泛化上表现突出。
- Functional Embeddings Enable Aggregation of Multi-Area SEEG Data for Robust BCI
-
提出 FunctionalMap 框架,通过对比学习从颅内局部场电位(LFP)中学习被试无关的功能嵌入作为"功能坐标系",替代不可靠的 MNI 解剖坐标,结合 Transformer 实现跨被试、跨电极的神经数据聚合和信号重建,在 20 名被试的多脑区 SEEG 数据集上验证有效。
- GRADIEND: Feature Learning within Neural Networks Exemplified through Biases
-
提出GRADIEND——一个基于梯度的编码器-解码器架构,通过单个瓶颈神经元从模型梯度中学习可解释的单语义特征(以性别为例),不仅可以识别哪些权重编码了特定特征,还能通过解码器直接修改模型权重来消除偏见,与INLP结合在所有基线模型上达到SOTA去偏效果。
- Human or Machine? A Preliminary Turing Test for Speech-to-Speech Interaction
-
对9个SOTA语音对话系统开展首次语音图灵测试(2968次人类判断),发现所有系统均未通过(成功率7%-31%),瓶颈不在语义理解而在副语言特征、情感表达和对话人格,并构建了18维细粒度评估框架和可解释AI评审模型。
- Mitigating Mismatch within Reference-based Preference Optimization
-
揭示 DPO 的"过早满足"问题——当 reference 策略对 chosen 的概率低于 rejected 时(~45% pairs),DPO 的梯度被 reference 的悲观信号不必要地衰减(即使策略仍然错误即 \(\Delta_\theta < 0\));提出 HyPO(一行代码修改:\(\max(0, \Delta_{ref})\) 裁剪 reference margin),在 AlpacaEval 2.0 上相对 DPO 提升 41.2%。
- Propaganda AI: An Analysis of Semantic Divergence in Large Language Models
-
提出 RAVEN 审计框架,通过结合模型内语义熵和跨模型分歧来检测 LLM 中的概念条件语义分歧——一种类似宣传的行为模式,即高层概念线索(意识形态、公众人物)触发异常一致的立场响应。
- SAGE: Spatial-visual Adaptive Graph Exploration for Efficient Visual Place Recognition
-
提出 SAGE,一个统一的 VPR 训练框架:引入轻量 Soft Probing 模块增强局部特征判别力,每个 epoch 在线重建融合地理距离与视觉相似度的亲和图,再通过贪心加权团扩展聚焦最难样本,冻结 DINOv2 骨干仅训练 1.96M 参数即在 8 个基准上全面 SOTA。
- Scalable Multi-Task Low-Rank Model Adaptation
-
系统分析多任务 LoRA 在任务数量增大时崩溃的根因(均匀正则化破坏共享知识 + 组件级 LoRA 放大梯度冲突),提出 mtLoRA:谱感知正则化 + 块级适配 + 细粒度路由,在 15-25 个任务上平均超越 SOTA 2.3%,同时减少 47% 参数和 24% 训练时间。
- SocialHarmBench: Revealing LLM Vulnerabilities to Socially Harmful Requests
-
提出首个专门针对社会政治危害的LLM安全评估基准 SocialHarmBench,包含585条覆盖7个领域、34个国家的提示,揭示了当前LLM在历史修正主义、宣传操纵等政治敏感场景中的系统性安全漏洞。
📡 信号/通信 (2)¶
- Enhancing Instruction Following of LLMs via Activation Steering with Dynamic Rejection
-
提出 Directer(Dynamic Rejection Steering),通过在每个解码步动态调节 KV 缓存引导强度并引入合理性约束,显著提升 LLM 指令遵循能力,同时避免过度引导导致的文本质量下降。
- Mamba-3: Improved Sequence Modeling using State Space Principles
-
从SSM视角提出三项核心改进:指数-梯形离散化、复值状态空间、多输入多输出(MIMO)公式化,在不增加解码延迟的前提下显著提升模型质量和状态追踪能力,推进性能-效率Pareto前沿。
📂 其他 (71)¶
- A Federated Generalized Expectation-Maximization Algorithm for Mixture Models with an Unknown Number of Components
-
提出 FedGEM 算法,通过客户端本地 EM 步后构建不确定性集、服务器利用不确定性集交集检测聚类重叠并推断全局聚类数,首次实现在全局聚类数未知情况下的联邦聚类,并提供了概率收敛保证。
- A Representer Theorem for Hawkes Processes via Penalized Least Squares Minimization
-
为线性多元 Hawkes 过程在 RKHS 框架下的触发核估计建立了新型表示定理,证明最优估计器可用等价核在数据点上的线性组合表示且对偶系数全部解析地等于 1,无需求解对偶优化问题,从而实现高效可扩展的非参数估计。
- A Scalable Inter-edge Correlation Modeling in CopulaGNN for Link Sign Prediction
-
将 CopulaGNN 从节点级扩展到边级,通过将相关矩阵构造为边嵌入的 Gramian 矩阵并利用 Woodbury 恒等式重构条件概率分布,实现了在签名图上对边间统计依赖的可扩展建模,用于链接符号预测任务。
- A Single Architecture for Representing Invariance Under Any Space Group
-
设计了一种可自适应任意空间群不变性的单一架构 (Crystal Fourier Transformer),通过解析推导群操作对傅里叶系数的约束来构造对称适配的傅里叶基,用约束的对偶图表示实现了跨 230 个空间群的参数共享和零样本泛化。
- Active Learning for Decision Trees with Provable Guarantees
-
为决策树主动学习提供首个理论保证:(1) 首次分析决策树的不一致系数(disagreement coefficient)并给出 \(O(\ln^{OPT}(n))\) 上界;(2) 提出首个达到乘法误差 \((1+\epsilon)\) 保证的二分类主动学习算法;结合两者实现数据集大小的多对数标签复杂度。
- An Information-Theoretic Framework For Optimizing Experimental Design To Distinguish Probabilistic Neural Codes
-
提出 information gap 这一信息论度量,通过推导在似然编码和后验编码假说下解码器交叉熵性能差异的解析表达式(本质是真实后验与任务边际化代理后验之间的 KL 散度),定量评估给定实验设计区分两种概率神经编码假说的能力,并通过最大化该度量来优化刺激先验分布,实现理论驱动的最优实验设计。
- ANO: Faster is Better in Noisy Landscapes
-
提出 Ano 优化器,将更新方向和幅度解耦——方向用动量的符号(sign)确保噪声鲁棒,幅度用瞬时梯度绝对值(而非动量幅度)确保响应速度,配合改进的 Yogi 式方差估计,在噪声和非平稳环境(如 RL)中显著优于 Adam/Lion/Adan,同时在标准任务上保持竞争力。
- AnyUp: Universal Feature Upsampling
-
AnyUp 提出首个编码器无关的可学习特征上采样方法,通过 feature-agnostic 卷积层和窗口注意力机制,仅训练一次即可对任意视觉特征在任意分辨率间进行高质量上采样,在语义分割、深度估计等任务上达到 SOTA。
- Articulation in Motion: Prior-Free Part Mobility Analysis for Articulated Objects
-
提出AiM(Articulation in Motion)框架,从交互视频和初始状态扫描中无需部件数量先验地重建铰接物体——通过双高斯表征(静态GS + 可变形GS)实现动静解耦,结合顺序RANSAC进行无先验部件分割和关节估计,辅以SDMD模块处理新暴露的静态区域,在复杂6部件物体(Storage)上以79.34% mean IoU大幅超越需先验的ArtGS(52.23%)。
- Bayesian Influence Functions for Hessian-Free Data Attribution
-
提出 Local Bayesian Influence Function (BIF),用 SGLD 采样估计的协方差替代经典影响函数中不可行的 Hessian 逆运算,实现了对数十亿参数模型的无架构限制数据归因,在重训练实验中达到 SOTA。