🧪 ICML2026 论文汇总¶
1463篇ICML2026论文解读,涵盖图像生成(125篇)、模型压缩(100篇)、多模态 VLM(99篇)、强化学习(95篇)、可解释性(71篇)、优化/理论(64篇)、LLM 推理(63篇)、LLM 安全(46篇)等 50个方向。每篇含一句话总结、核心思想、方法详解、实验结果与局限性分析,5分钟读懂一篇论文核心思想。
💡 LLM 推理 (63)¶
- A Formal Comparison Between Chain of Thought and Latent Thought
-
本文从计算复杂度理论出发,形式化比较 CoT(链式思维)与隐式思维(Looped Transformer / Coconut)的表达能力,证明隐式思维在多对数深度下严格达到 \(\mathsf{TC}^k\),而 CoT 最多到 \(\mathsf{TC}^{k-1}\);同时在概率设置下首次揭示 CoT 通过随机解码可支持 FPRAS 计数,反过来超越确定论隐式思维。
- An Information-Theoretic Criterion for Efficient Data Synthesis
-
这篇论文用数据处理不等式解释合成数据为何有时有效、有时导致模型坍塌:只有当训练闭环持续引入稳定外部信号时,合成数据才是 information-open;而高 meta-level 的验证信号比实例级模仿更高效、更容易泛化。
- Are Large Reasoning Models Interruptible?
-
这篇论文把大推理模型从静态题目评测拉到会被用户打断、会收到中途更新的动态环境中,构建数学与编程评测协议,并发现强模型会出现推理泄漏、恐慌作答和自我怀疑三类稳定失效模式。
- Are Tools Always Beneficial? Learning to Invoke Tools Adaptively for Dual-Mode Multimodal LLM Reasoning
-
AutoTool 用强化学习让多模态大模型先判断“这题是否真的需要 zoom-in 工具”,再在工具辅助推理和纯文本推理之间自适应切换,从而在高分辨率感知、定位、幻觉检测和推理任务上同时提升准确率与效率。
- Beyond Test-Time Memory: State-Space Optimal Control for LLM Reasoning
-
将 LLM 推理建模为隐空间上的最优控制问题(线性二次调节器 LQR),提出 Test-Time Control (TTC) 层在前向传播中执行有限时域规划并解码最优控制动作作为下一 token 表示,配合辛迭代 CUDA 高效求解器,作为适配器插入预训练 LLM 后在 MATH-500 上提升最多 +27.8%,AMC/AIME 上 Pass@8 提升 2-3 倍。
- Beyond Two-Stage Training: Cooperative SFT and RL for LLM Reasoning
-
提出 BRIDGE 框架,将 SFT 与 RL 的整合建模为双层优化问题——SFT 作为上层教师通过轻量 LoRA 模块学习选择性地向 RL 学生传递有益监督信号,在五个数学推理基准上平均绝对提升超过 3 个百分点。
- Biases in the Blind Spot: Detecting What LLMs Fail to Mention
-
提出一个全自动黑盒流水线来检测 LLM 的"未言明偏见"(unverbalized biases)——系统性影响模型决策但从未在 CoT 推理中被提及的隐性因素,通过 LLM 自动生成概念假设、反事实输入变体和分阶段统计检验,在三个决策任务上自动发现了性别、种族等已知偏见以及西班牙语流利度、英语水平、写作正式度等新偏见。
- Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling
-
提出 Prefix-RFT,通过从专家示范中采样前缀拼接模型续写来构建混合轨迹,在保持 RFT 目标导向优化的同时注入 SFT 的知识引导,在数学推理任务上显著超越独立 SFT、RFT 及已有混合方法。
- Chain-of-Thought Reasoning in the Wild Is Not Always Faithful
-
本文在非对抗性、自然措辞的提示下(无人工注入偏见),揭示前沿LLM的链式推理(CoT)存在两种不忠实行为——隐式后验合理化(对逻辑对立的比较问题给出矛盾的相同答案并各自编造合理论证)和不忠实非逻辑捷径(在数学难题中跳过关键推理步骤却得出正确答案),生产模型不忠实率最高达13%,即使思考型模型(DeepSeek R1: 0.37%,Sonnet 3.7 thinking: 0.04%)也非完全忠实。
- Clustering as Reasoning: A \(k\)-Means Interpretation of Chain-of-Thought Graph Learning
-
本文揭示 Transformer 自注意力与 \(k\)-means 聚类的数学等价性,据此设计 KCoT 框架,将 CoT 推理显式拆解为"赋值-更新"两步语义过滤提示,并用 Condition-Net 动态融合拓扑先验与演化思维表示,在节点分类和链接预测上持续超越 SOTA。
🔒 LLM 安全 (46)¶
- ACTG-ARL: Differentially Private Conditional Text Generation with RL-Boosted Control
-
本文提出一个分层框架 ACTG,将隐私文本生成分解为特征学习与条件文本生成两个子任务;进一步引入 Anchored RL,通过混合强化学习目标与基于最优 N 选一的 SFT 锚点,在保持文本保真度的前提下提升条件生成器的指令跟随能力,在生物医学数据上相比先前工作提升 20% MAUVE。
- AliMark: Enhancing Robustness of Sentence-Level Watermarking Against Text Paraphrasing
-
AliMark 将句子级文本水印从“前缀条件下的逐句检测”改写为“全局秘密比特序列的编码与对齐”,通过重构候选文本和自适应块编辑距离显著提升了对 DIPPER、GPT-3.5 等强改写攻击的检测鲁棒性。
- Anchored Decoding: Provably Reducing Copyright Risk for Any Language Model
-
本文提出 Anchored Decoding:在推理时把高性能但可能复现训练数据的 risky LM 锚定到只用开放许可数据训练的 safe LM 附近,用可调的信息预算在版权复制风险和生成质量之间给出有形式保证的折中。
- Antidistillation Fingerprinting
-
这篇论文提出 Antidistillation Fingerprinting (ADFP),用代理学生模型估计哪些水印 token 最容易被蒸馏过程吸收,从而在几乎不牺牲教师输出质量的情况下,更可靠地检测第三方模型是否训练过教师模型输出。
- Beyond Procedure: Substantive Fairness in Conformal Prediction
-
本文超越保形预测(CP)的过程公平性视角,从下游决策的实质公平性出发,理论证明并实验验证了等化预测集大小(而非等化覆盖率)才是与实质公平强相关的程序指标,并提出基于 LLM-in-the-loop 的可扩展评估框架和标签聚类 CP 方法来有效平衡效用与公平。
- BioAgent Bench: An AI Agent Evaluation Suite for Bioinformatics
-
BioAgent Bench 给"用 LLM agent 跑生物信息学 pipeline"这件事造了一个端到端的评测套件——10 个真实 bioinformatics 任务 × 10 个 frontier/open-weight 模型 × 3 个 agent harness,配合 LLM 判官评分和 corrupted/decoy/prompt-bloat 三类扰动测试,发现前沿模型能完成 90%+ pipeline 但鲁棒性堪忧。
- BYORn: Bootstrap Your Own Responses to Defend Large Vision-Language Models Against Backdoor Attacks
-
BYORn 通过检测与输入语义不一致的高困惑度目标响应来识别投毒样本,并用模型自身生成的干净响应动态替换,从而打破后门触发器与恶意输出之间的关联,在保持干净任务性能的同时将攻击成功率平均降低 40 个百分点。
- COFT: Counterfactual-Conformal Decoding for Fair Chain-of-Thought Reasoning in Large Language Models
-
COFT 通过在解码时构造反事实掩码分支并与原始分支进行 logit 融合,再用双分支分裂共形预测过滤 token,以无训练、免梯度的方式在冻结 LLM 上实现了逐步 token 级别的反事实公平性保证,将偏见指标降低 30–55%(中位 38%)且几乎不损失任务性能。
- Decoupled Training with Local Reinforcement Fine-Tuning in Federated Learning
-
FedDTL 把 CLIP 的图像编码器留在客户端、文本编码器搬到服务器做"全局语义锚",再用 SFT 暖启 + GRPO 风格 RL 的两阶段本地微调,在异构和 full-data 联邦场景下同时缓解客户端间优化不一致与客户端内过拟合。
- Deep Sequence Models Tend to Memorize Geometrically; It Is Unclear Why
-
本文指出 Transformer / Mamba 在死记硬背图的边时并不会真的退化成查找表(联想记忆),而是会自发把节点嵌入排成一种编码了多跳全局结构的"几何记忆",并通过 path-star 实验证明这种几何让隐式推理变得反常地容易,但其出现既不能归因于监督、容量也不能归因于优化压力,留下一个新的"记忆之谜"。
🦾 LLM Agent (42)¶
- A Minimal Agent for Automated Theorem Proving
-
本文提出 AxProverBase——一个极简的 Lean 4 定理证明智能体,仅靠"编译器反馈 + 自管理笔记本 + 轻量工具搜索"三个组件,在不微调的前沿 LLM(Claude Opus)上达到甚至超越 Hilbert/Seed-Prover 等专用系统,成本却低出 100 倍。
- ACON: Optimizing Context Compression for Long-horizon LLM Agents
-
Acon 用失败轨迹对比来优化自然语言压缩指南,同时压缩 agent 的历史和观察上下文,在 AppWorld、OfficeBench 和多目标 QA 上把峰值 token 降低 26% 到 54%,并保持或提升长程任务成功率。
- Agent-Omit: Adaptive Context Omission for Efficient LLM Agents
-
通过 Monte-Carlo rollout 量化"哪些回合的 thought / observation 可以省",再用冷启动 SFT + 双采样 omit-aware GRPO 训出能自适应跳过冗余思考和观测的 8B agent,五个基准上 token 用量大降而准确率与七大前沿模型持平。
- Agent JIT Compilation for Latency-Optimizing Web Agent Planning and Scheduling
-
这篇论文把网页 Computer-Use Agent 从逐步截图-调用 LLM-执行的循环,改造成类似 JIT 编译器的系统:把自然语言任务编译成可校验、可缓存、可并行调度的代码计划,从而让 JIT-Planner 比 Browser-Use 快 10.4×且准确率高 28pp,让 JIT-Scheduler 比 OpenAI CUA 快 2.4×且准确率高 9pp。
- AgentXRay: White-Boxing Agentic Systems via Workflow Reconstruction
-
作者把"对黑盒 agent 系统反推一个等价白盒 workflow"作为新任务 AWR,用 MCTS 在 agent 原语序列空间中搜索,再配上一种基于评分动态着色的 Red-Black 剪枝来平衡深度与宽度,在五个真实领域上实现可解释的白盒重建。
- Answer Only as Precisely as Justified: Calibrated Claim-Level Specificity Control for Agentic Systems
-
这篇论文把 agentic 系统里的“说得过细但证据不够”建模为 claim 级过度承诺问题,并提出 calibrated CSS:对每个原子 claim 在精确表述、粗粒度回退和省略之间做校准选择,在 LongFact 全量实验中将 OAU 从无后处理的 0.8460 提升到 0.9130,同时保留 0.9381 的特异性。
- AutoRPA: Efficient GUI Automation through LLM-Driven Code Synthesis from Interactions
-
提出 AutoRPA 框架,通过翻译器-构建器流水线将 ReAct 风格 GUI Agent 的交互轨迹自动蒸馏为可复用的 RPA 函数,结合混合修复策略迭代优化代码,在保持甚至超越原始 Agent 成功率的前提下减少 82%~96% 的 token 消耗。
- Constitutional Black-Box Monitoring for Scheming in LLM Agents
-
本文提出一套端到端的"宪法式黑盒监控"框架,利用两条合成数据流水线(STRIDE 和 Gloom)生成 2,000 条合成轨迹来优化提示分类器,在仅观察外部可见的工具调用与输出(不看 CoT)的条件下检测 LLM 代理的阴谋行为,发现简单的 prompt grid search 即可饱和性能,更激进的优化反而导致过拟合。
- EvolveR: Self-Evolving LLM Agents through an Experience-Driven Lifecycle
-
EvolveR 给 LLM agent 套一个「在线交互 → 离线自蒸馏成原则库 → GRPO 策略进化」的闭环生命周期:agent 不再丢弃过去轨迹,而是把自己的成功失败抽象成可检索的「策略原则」,再用 RL 学会如何用自己的原则去解新问题,在 7 个多跳 QA benchmark 上明显跑赢 Search-R1 等 RL agent baseline。
- ExCyTIn-Bench: Evaluating LLM Agents on Cyber Threat Investigation
-
本文构建了首个评测 LLM Agent 端到端做"网络威胁调查"的 benchmark ExCyTIn-Bench:从真实 Azure 租户的 57 张安全日志表里,用 alert-entity 二部图自动生成 7542 道带证据链的 SQL 问答题,并提供 MySQL 环境让 Agent 通过查询日志、多跳追踪证据来回答,目前最强模型 Claude-Opus-4.5 也只能拿 0.606 的 reward。
⚡ LLM 效率 (32)¶
- Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts
-
提出对已收敛 MoE 模型的"正交增长"策略——深度方向用 interpositional 层复制、宽度方向用噪声专家复制——将 17B 模型扩展到 70B,在相同额外算力下比从头训练准确率提升 10.6%。
- CriticalKV: Optimizing KV Cache Eviction from an Output Perturbation Perspective
-
作者把"哪些 KV 缓存条目算关键"这个一直靠经验拍脑袋的问题,重新写成"最小化注意力输出扰动"的优化问题,推导出扰动的可解析上界(同时涉及注意力权重和经 \(W^O\) 投影后的 value 范数),并由此设计了一个即插即用的两阶段贪心选择算法,把 SnapKV/AdaKV/HeadKV 三种 SOTA 驱逐方法在 29 个长上下文数据集上的压缩损失平均砍掉一半以上。
- dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching
-
针对扩散式大语言模型 (dLLM) 因双向注意力无法复用 KV cache 而推理极慢的问题,本文提出训练无关的 dLLM-Cache,对静态 prompt 用长间隔缓存、对动态 response 用短间隔刷新+按 Value 余弦相似度选 25% 最"变化"的 token 做局部重算,在 LLaDA 8B / Dream 7B 上获得最高 9.1× FLOPs 加速且分数基本不掉。
- Do Transformers Need Three Projections?三选一/二的 QKV 共享系统研究
-
论文系统比较三种 QKV 投影共享方案——Q=K-V(共享 query 和 key)、Q-K=V(共享 key 和 value)、Q=K=V(三者共享),发现 Q-K=V 在 LM 上 PPL 仅升 3.1% 但 KV cache 减 50%,与 GQA/MQA 正交可叠加得 87.5%-96.9% cache 减少;为 edge inference 提供 quantifiable memory benefit。
- DOT-MoE: 用可微 optimal transport 把 dense LLM 转成 MoE
-
DOT-MoE 把"dense FFN 转成 MoE 时怎么分配神经元到专家"建模成 differentiable optimal transport——Sinkhorn-Knopp 迭代解 entropic-regularized balanced transport + Straight-Through Estimator 让 neuron-to-expert assignment 和 router 联合 end-to-end 学习;在 LLaMA-2/3 + Qwen2.5 上 50% 激活参数下保留 90% dense 性能,超过 structured pruning / random / 聚类等所有 baseline。
- Efficient Training-Free Multi-Token Prediction via Embedding-Space Probing
-
本文提出 ESP(Embedding-Space Probing):在不修改任何权重、不训练任何辅助模型的前提下,把"prompt 嵌入均值"作为 mask token 注入到冻结 LLM 的输入序列里,借助一次前向同时探出未来多个 token,再用基础模型自身做无损推测验证,在 LLaMA3 / Qwen3 上比同类训练免费基线(LADE / STAND / PLD)的平均接受长度高 7–11%、吞吐高 15–19%。
- Ekka: Automated Diagnosis of Silent Errors in LLM Inference
-
Ekka 把 LLM 服务框架里"输出悄悄变烂、却没有报错"的静默错误诊断问题,建模为以 HuggingFace 这类参考实现为 oracle 的差分调试任务,用一套"组件映射 → 激活对齐 → 变点分析"的 agentic 流水线自动定位到出问题的具体模块,在 17 个真实 vLLM/SGLang issue 上取得 80% pass@1 / 88% pass@5 的诊断准确率,并新发现 4 个被开发者确认的隐藏 bug。
- Fast-dLLM++: Fréchet Profile Decoding for Faster Diffusion LLM Inference
-
针对扩散语言模型(dLLM)的并行解码瓶颈,本文提出训练无关的 Fréchet 画像解码:用整条排序后的置信度画像而不是"最弱被选 token"那一项来决定本步并行 commit 多少 token,把 Fast-dLLM 的 factor 规则严格推广到异质置信度场景,在 LLaDA-8B 上四个基准平均吞吐 1.36×、NFE 降 29%,精度几乎不变。
- GraphFlow: A Graph-Based Workflow Management for Efficient LLM-Agent Serving
-
GraphFlow 把多个 agent 工作流统一到一张全局操作 DAG(wGraph)上,用 GNN+MLP 按任务在线生成子图工作流,并通过"基底 KV + 稀疏前缀残差 + 路径剪枝"的差分缓存替代传统按工作流独立缓存,在 5 个推理/代码/QA benchmark 上平均提升 4.95pp 的同时把 KV 内存压到约 1/4。
- Hyperparameter Transfer with Mixture-of-Experts Layers
-
本文把 μP/CompleteP 的最大更新参数化思想扩展到稀疏 MoE Transformer,给出 router、expert 上/下投影、expert bias 在 width/depth/专家数/专家宽度同时放大时的初始化与学习率缩放规则,并用一套三层 mean-field 的 DMFT 理论证明该参数化在 \(n_{\text{embd}},n_{\text{exp}},n_{\text{hid}},L\to\infty\)(固定激活稀疏度 \(\kappa\))下存在尺度不变极限,从 38M 激活基模迁移到 2B 总参的 MoE 上都能直接复用最优 LR / init,且零样本超参训出来的 MoE 在等激活参数下可与 dense GPT2 speedrun 持平甚至更优。
⚖️ 对齐 / RLHF (26)¶
- Adaptive Probe-based Steering for Robust LLM Jailbreaking
-
这篇论文把 probe-based contrastive steering 改造成更强的白盒红队评测工具,用自适应重训练修正有偏 probe,并用激活统计自适应设定 steering 强度,从而显著暴露加固 LLM 的越狱脆弱性。
- Alignment-Aware Decoding
-
Alignment-Aware Decoding 直接在推理时利用 DPO 模型相对 SFT 参考模型的 token 概率比作为隐式对齐奖励,在无需额外训练或外部 reward model 的情况下,比 greedy、Bo2 和 EFT 更稳定地生成高对齐质量回答,并可进一步产生合成偏好数据改进 DPO。
- Consistency Training Can Entrench Misalignment
-
本文提出"一致性非中性假说",通过在 108 个"模型有机体"上评估 7 种一致性训练方法,发现一致性训练并非对齐中性的——它系统性地抑制脆弱的奖励黑客和涌现性错位,但放大稳定的谄媚行为,分布偏移(而非分数选择)是主要驱动因素。
- Curriculum Learning for Safety Alignment
-
本文提出 Staged-Competence —— 一个把"模型自身的偏好对齐 margin"作为难度分、再用"分阶段更新参考模型 + 阶段内 competence-based 采样"双重课程的 DPO 安全对齐框架,在三种 8B 量级 LLM 上把 OOD 有害回答率平均降 16%、越狱攻击成功率降 20%,同时几乎不损伤通用能力与不引入过度拒答。
- Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards
-
本文先理论证明 RLVR(如 GRPO)训练中"提升准确率"与"减小校准误差"两个目标在 Fisher 度量下梯度方向负相关、不可调和,再提出 DCPO:让模型在推理轨迹后显式吐出一段 verbalized 置信度,给推理 token 和置信度 token 分配各自的 reward / advantage / 掩码梯度,从而在保持 GRPO 同等准确率的前提下把 ECE 从 0.435 降到 0.128(相对降 71.6%)。
- Efficient Preference Poisoning Attack on Offline RLHF
-
针对 log-linear DPO 提出"翻一条偏好标签 = 给损失梯度加一个与策略参数无关的固定向量"的关键观察,把目标投毒攻击归约为二值稀疏近似问题,给出基于 LLL 格基约化的 BAL-A 和基于匹配追踪的 BMP-A 两种算法以及可证明的恢复 / 不可能性条件。
- \(f\)-Divergence Regularized RLHF: Two Tales of Sampling and Unified Analyses
-
本文给在线 RLHF 在通用 \(f\)-divergence 正则下首次建立 \(O(\log T)\) regret 和 \(O(1/T)\) 次优 gap 上界,提出两套采样策略:(1) 基于 optimism in face of uncertainty 加 bonus 项;(2) 一个新颖的 "derivative-as-uncertainty" 视角——把 \(f'\) 当作不确定性信号,从而设计 derivative-based 采样而无需在每轮显式估计 confidence bound。
- F-TIS: Harnessing Diverse Models in Collaborative GRPO
-
F-TIS 把"截断重要性采样 (TIS)"与"按 KL 阈值过滤负优势 off-policy 样本"两件事拼到一个 GRPO 损失里,让大小不同、专长不同、甚至只有一部分参数可训的多个 LLM 在同一次去中心化 GRPO 训练中互相喂样本,最终收敛和纯 on-policy 持平,并在 OOD 数学任务上最高带来 +12% 的性能。
- GIST: 用梯度子空间投影做 instruction tuning 的 targeted 数据选择
-
GIST 把"为 target task 挑 instruction tuning 数据"看作 gradient subspace alignment——证明 LESS 等用 Adam states 当 diagonal preconditioner 在 LoRA 上失效(cross-parameter 耦合 + 低秩 task subspace),改用 validation gradients SVD 抽 task-specific 低秩子空间 + cosine similarity 选样本;在 MMLU/TydiQA/BBH 上匹配或超越 LESS,只用 0.29% 存储和 25% 计算时间。
- Implicit Preference Alignment for Human Image Animation
-
作者提出 Implicit Preference Alignment (IPA):一种只需"好样本"、不需要构造好/坏配对的后训练方法,通过最大化与预训练参考模型 KL 间隔来等价地最大化隐式奖励,并配合一个把手部 mask 加权进损失的 HALO 模块,让大尺度视频 DiT 在仅 93 个挑选样本下显著改善人体动画的手部保真度。
📊 LLM 评测 (25)¶
- Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning
-
本文提出 Agent World Model,一条从场景、任务、数据库、MCP 工具接口到验证器的全合成流水线,生成 1000 个可执行数据库驱动环境,并用它们训练工具调用 Agent,在 BFCLv3、\(\tau^2\)-bench 和 MCP-Universe 上取得更强的域外泛化。
- AGZO: Activation-Guided Zeroth-Order Optimization for LLM Fine-Tuning
-
AGZO 发现线性层梯度行空间受前向激活子空间约束,并据此在零阶微调中只沿激活引导的低秩方向扰动参数,从而在几乎保持 MeZO 级别显存占用的同时提升梯度对齐和下游任务性能。
- BESPOKE: Benchmark for Search-Augmented Large Language Model Personalization via Diagnostic Feedback
-
提出 Bespoke 基准,通过 30 名标注者 3 周的真实聊天+搜索历史收集 2,870 个会话,构建包含细粒度偏好评分与诊断反馈的评测框架,系统评估搜索增强 LLM 的个性化能力,发现当前模型在所有配置下平均得分均不超过 60,个性化瓶颈在于历史推理而非生成。
- Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum
-
本文系统研究了 SFT 中概率类目标函数的行为规律,发现标准 NLL 并非普适最优:在模型先验强的任务上先验倾向(prior-leaning)目标如 \(-p\) 显著优于 NLL(最高提升 16%),而在先验弱的任务上 NLL 仍然占优,揭示了由模型能力连续谱(model-capability continuum)主导的目标函数选择原则。
- Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning
-
提出 GraphGPO,将所有 rollout 轨迹聚合为统一的状态转移图,利用图上全局最短路径信息为每一步计算基于距离的 advantage,实现比轨迹级归因更精细的信用分配,在 ALFWorld、WebShop、Sokoban 上显著超越 GRPO 和 GiGPO。
- CapBencher: Give Your LLM Benchmark a Built-in Alarm for Test-Set Overfitting
-
CapBencher 通过为每道题注入随机性(生成多个逻辑正确答案并随机选一个作为标准答案),将 benchmark 的 Bayes 准确率降到可控水平(如 50%),从而在公开发布 benchmark 的同时实现数据污染的黑盒统计检测——任何准确率显著超过 Bayes 上界的模型都被判定为存在污染。
- Decompose, Structure, and Repair: A Neuro-Symbolic Framework for Autoformalization via Operator Trees
-
本文提出 DSR(Decompose-Structure-Repair)神经符号框架,把自然语言定理形式化拆解为「分解 NL 成分 → 联合生成 FL 成分与算子树(OPT) → 基于子树定位的层级化修复」三阶段,在 ProverBench / ProofNet / PRIME 上以 7B 模型刷新 SOTA,并配套发布 156 题的研究生级 Lean 4 基准 PRIME。
- DEI: Diversity in Evolutionary Inference for Quality-Diversity Search
-
本文提出 DEI,把多个不同家族的 LLM当作 Quality-Diversity 搜索里的异构变异算子分布到不同节点,用全异步 gossip 互相广播每轮 champion 形成跨模型对抗压力,在 Core War 程序合成任务上以等总算力换来比单节点 +124% 的 QD-Score 与 +28% 的 archive coverage。
- Discovering Ordinary Differential Equations with LLM-Based Qualitative and Quantitative Evaluation
-
DoLQ 在 LLM 符号回归的搜索循环里插入一个 "Scientist Agent",对候选项同时做定性(物理合理性)+ 定量(消融式 MSE 贡献)评估,把 LLM-SR 那种 "低误差但项数臃肿、物理上荒谬" 的方程逼到既数值精确又结构紧凑。
- From Human-Level AI Tales to AI Leveling Human Scales
-
本文用 LLM 当人口外推器,把 18 个能力维度按"全世界人口正确率"对数刻度 \(L=-\log_B p_W\) 校准,并发现 Volume / Attention 维度真实 base \(B \gg 10\)、Comprehension 维度 \(B \approx 1\),揭示现行 AI 与人类的比较其实严重失调。
📚 预训练 (22)¶
- Annotations Mitigate Post-Training Mode Collapse
-
作者发现 SFT 把模型对齐到一个低熵语义先验上、导致"指令模型越大越无聊"的反向 scaling,于是提出"标注锚定训练"——预训练阶段给文档配语义 tag、SFT 阶段对 tag 部分 mask loss,让推理时先采样语义再生成响应,从而在保持指令跟随能力的同时把语义多样性差距缩小 85%。
- Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability
-
本文提出"有效函数类"和"神经元可辨识性"的理论框架,揭示打破结构对称性并不等于打破有效对称性——即使参数空间的置换对称已被消除,数据依赖的近似对称仍可能使神经元互换代价极低,并据此给出无需对齐即可实现线性模式连通性(LMC)的充分条件。
- Constrained Bayesian Experimental Design via Online Planning
-
本文提出 COPEx:通过"离线预训练 amortized 后验网络 + 设计策略 + 在线多步 lookahead 场景树"的半摊销方案,让贝叶斯实验设计在测试时能动态适应预算 / 成本 / 转移约束,在受约束的 location finding、CES、cost-aware AL 三类任务上 EIG / RMSE 一致超过 VPCE、ALINE、RL-BOED 等基线。
- Data Difficulty and the Generalization--Extrapolation Tradeoff in LLM Fine-Tuning
-
本文系统研究 SFT 中数据难度的作用,发现并不存在"普适最优难度",而是存在一个随数据规模增大而向更难方向漂移的最优难度,并用"in-distribution 泛化 gap"与"extrapolation gap"两个 gap 的 trade-off 给出 PAC-Bayes 解释。
- Dropout Universality: Scaling Laws and Optimal Scheduling at the Edge-of-Chaos
-
作者把 dropout 看作平均场信号传播理论中破坏 \(c^*=1\) 完美对齐不动点的"外场" \(h\),推出 Landau 方程、两参数标度坍塌以及 smooth/kinked 激活的两个不同普适类,并由此得到一个"零开销"的实用结论——前置 dropout(front-loaded schedule)在同等预算下比常数 dropout 在 MLP 和 ViT 上把测试损失降低 18–35%。
- FlexRank: Nested Low-Rank Knowledge Decomposition for Adaptive Model Deployment
-
FlexRank 把预训练大模型的每个线性层做 activation-aware 低秩分解(DataSVD),用动态规划在 \(O(L\cdot K)\) 时间内挑出一组严格嵌套的子模型对应不同算力预算,再用知识蒸馏联合训练这套共享权重,最后通过 Gauge-Aligned Reparametrization 把秩节省真正翻译成 FLOPs 节省——一次训练即可在 LLM 与 ViT 上得到逼近真实帕累托前沿的"一族"可部署模型。
- Focus and Dilution: The Multi-stage Learning Process of Attention
-
本文在单层 Transformer 学习马尔可夫数据的简化场景下,通过围绕一系列临界点做分阶段线性化的梯度流分析,揭示并严格刻画了注意力训练中反复出现的「聚焦—稀释」循环,并在 WikiText 与 TinyStories 上观察到一致的现象。
- If open source is to win, it must go public
-
这是一篇 ICML 2026 立场论文(position paper),论点是:当前形态的"开源 AI"无法像 Linux/PyTorch 那样真正民主化 AI 访问与提供公共产品,必须嵌入到"公共 AI(Public AI)"——由政府/国家实验室/大学/非营利机构提供的算力、推理、后训练、数据基础设施——之中,开源才能赢。
- Incremental BPE Tokenization
-
本文提出首个具有严格 \(\mathcal{O}(\log^2 t)\) 单字节最坏复杂度的增量 BPE 分词算法,通过 Aho–Corasick 自动机定位搜索空间、Centroid Decomposition 上的二分搜索定位"最后一个 token",作为 drop-in replacement 相对 Hugging Face tokenizers 最高 \(\sim 3\times\) 加速,并在病态输入上消除了 tiktoken 的 \(\mathcal{O}(n^2)\) 退化。
- InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition
-
作者提出 InfoLaw:把"预训练"重新定义为"按桶累积信息"的过程,每桶信息量等于"质量密度 \(f_d\) × 唯一 token 数 \(M_d\) × \(\log K\)"再乘上一个随重复次数 \(R_d\) 指数衰减的因子,最终把验证损失写成 \(L = \alpha\cdot\text{info}^{-\beta}\),能在 252M-1.2B 拟合后外推到 7B / 425B token,平均误差 0.15%、最大 0.96%,并直接用来搜索最优数据配方。
👻 幻觉检测 (19)¶
- Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models
-
这篇论文提出 RUDDER,在 LVLM 的 prefill 阶段从残差更新中提取每样本视觉证据方向,并在解码时用 Beta Gate 自适应注入,从而以接近单次前向的开销降低物体幻觉。
- Automatic Layer Selection for Hallucination Detection
-
提出 FEPoID(内在维度的首个有效峰值)作为无需训练的自动层选择准则,并结合首句截断策略(FST),在多种 QA 和摘要幻觉检测基准上持续选出接近最优的中间层,显著超越已有基线方法。
- Building Reliable Long-Form Generation via Hallucination Rejection Sampling
-
提出 SHARS 框架,在推理时逐句检测并拒绝幻觉内容、仅保留经验证的事实段落继续生成,配合改进的语义熵检测器 HalluSE,在 FactScore 上将事实精度提升约 20–26%,同时保持甚至增加生成中的事实信息量。
- Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation
-
提出 GIFT 方法,通过追踪 VLM 在理解用户查询时视觉注意力的正向变化("注视转移")构建视觉显著性图,并在解码阶段同时增强视觉和查询 token 的注意力以保持跨模态融合平衡,在 CHAIR 上最高提升 20.7%,且仅增加 1.13× 延迟。
- Finding the Correct Visual Evidence Without Forgetting: Mitigating Hallucination in LVLMs via Inter-Layer Visual Attention Discrepancy
-
本文发现 LVLM 幻觉源于对正确视觉证据的"关注不足 + 生成中遗忘",并观察到注意力对视觉证据存在显著的层间差异(ILVAD),据此提出一个 train-free / plug-and-play 的方法:用层间差分构造视觉证据显著性图,再在生成过程中持续加权视觉证据 token 和"扎根于证据"的文本 token,在 5 个 LVLM × 5 个幻觉/综合 benchmark 上一致降低幻觉。
- From Flat Facts to Sharp Hallucinations: Detecting Stubborn Errors via Gradient Sensitivity
-
本文把 LLM 幻觉检测从"看输出概率"切到"看 loss landscape 曲率"——在 embedding 加 Gaussian 噪声测量梯度方向与幅度的扰动,作为 Hessian 谱半径的廉价代理,在 12 个 model-dataset 组合上 AUROC 全面超越 entropy / Semantic Entropy / EigenScore 等基线。
- From Out-of-Distribution Detection to Hallucination Detection: A Geometric View
-
本文把 LLM 的下一 token 预测视为一个超大词表上的分类任务,将两个轻量级 OOD 检测器 NCI(特征与权重向量的接近度)与 fDBD(特征到决策边界的距离)迁移过来,配合"训练特征均值的解析代理 \(\mu_G\)"和"只在 top-\(k\) 候选 token 上算边界距离"两个适配,得到一个无训练、单样本的推理类幻觉检测器,在 CSQA / GSM8K / AQuA 上稳定优于困惑度、Semantic Entropy、SelfCheckGPT 等基线。
- Hallucination is a Consequence of Space-Optimality: A Rate-Distortion Theorem for Membership Testing
-
本文把"LLM 记住随机事实"形式化为带连续置信分数的成员测试问题,证明在事实稀疏极限下最优记忆开销恰好等于事实/非事实输出分布之间的最小 KL 散度——即"率失真定理"——并由此推出:在 log-loss 目标下,给定有限记忆,最优策略不是弃答也不是遗忘,而是把一定比例的非事实和事实压在同一个高置信点上,幻觉是信息论意义下的最优误差形态。
- Hallucinations Undermine Trust; Metacognition is a Way Forward
-
本文是一篇 position paper,论证"彻底消除 LLM 幻觉"在原理上无法逃避一个"区分度税"(discrimination gap → utility tax);作者主张把目标从"消灭幻觉"改为忠实表达不确定性(faithful uncertainty),并把这种 metacognition 视为 agentic LLM 调用工具时不可或缺的控制层。
- Harnessing Reasoning Trajectories for Hallucination Detection via Answer-agreement Representation Shaping
-
本文针对大推理模型(LRM)的幻觉检测提出 ARS:不在文本层扰动 reasoning trace,而是直接在 trace 末端的潜表示上施加小扰动并续解码得到反事实答案,再用"答案是否一致"作为标签训一个轻量 contrastive 头来塑形 trace-conditioned answer embedding,使后续 embedding-based detector 把幻觉与真实回答分得更开(TruthfulQA 上 AUROC \(66.85\to 86.64\))。
👥 多智能体 (15)¶
- Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information
-
本文提出两种利用高阶信息的 LLM 回答聚合算法——基于一阶准确率信息的 Optimal Weight (OW) 和基于二阶相关性信息的 Inverse Surprising Popularity (ISP),在不需要标签的条件下证明性优于多数投票,并在 UltraFeedback、MMLU 和医疗健康数据集上验证了一致的提升。
- CoOT: Learning to Coordinate In-Context with Coordination Transformers
-
把"如何与陌生伙伴协作"从 task-generalization 改写成 partner-generalization 的 in-context 学习问题:训练一个 Decision Transformer 在跨 episode 的交互轨迹上预测最佳响应动作,让模型不更新参数就能在几局之内适应任何未见过的伙伴。
- E-mem: Multi-Agent Based Episodic Context Reconstruction for LLM Agent Memory
-
E-mem 把"预处理压缩成嵌入/图"的传统记忆范式改成"保留原始上下文 + 小模型助手就地推理"的情景重构范式:master agent 只做全局规划,多个 SLM assistant 各自守着一段未压缩的原文,按多路由检索激活后再做局部推理回传证据,在 LoCoMo 上 F1 反超 SOTA 7.75 个点的同时把 token 消耗砍掉 70%。
- EngiAgent: Fully Connected Coordination of LLM Agents for Solving Open-ended Engineering Problems with Feasible Solutions
-
EngiAgent 把工程问题求解拆成 Analyzer/Modeler/Verifier/Solver/Evaluator 五个专家 Agent,再用一个全连接协调器动态路由反馈(而不是走固定流水线),让 GPT-4o 上工程任务的可行解率从 5.66%(zero-shot)/7.55%(MM-Agent)一跃到 64.15%,平均比此前 SOTA 提升约 7 倍。
- Sheaf-ADMM: Learning Multi-Agent Coordination via Sheaf-ADMM
-
Sheaf-ADMM 把多智能体协调问题做成端到端可微的 ADMM 展开——每个 agent 只看局部 patch,独立解 ADMM 子问题(\(\bm x\)-update)、通过 cellular sheaf 定义的"边空间投影"协商一致(\(\bm z\)-update)、用对偶变量 \(\bm u\) 累积分歧;在 maze pathfinding / MNIST / Sudoku 上 agents 协同得出正确全局解,且推理路径有可分析的 primal/consensus/dual 三态——比 MPNN 更可干预。
- MAS-Orchestra: Understanding and Improving Multi-Agent Reasoning Through Holistic Orchestration and Controlled Benchmarks
-
把"自动多智能体系统设计"重新表述为一次性输出整张 MAS 的函数调用 RL 问题,并配套 MASBench 从 Depth/Horizon/Breadth/Parallel/Robustness 五个轴说清楚"什么时候多智能体真的比单智能体强"。
- MASPO: Joint Prompt Optimization for LLM-based Multi-Agent Systems
-
MASPO 通过多粒度联合评价(局部有效性 + 前瞻潜力 + 全局对齐)+ 错位案例驱动的进化束搜索,在不依赖标注的前提下端到端地为整条多智能体链路联合优化角色提示词,6 个任务上平均提升约 2.9 分。
- MASPOB: 用 GNN 代理 + LinUCB + 坐标上升做多智能体提示优化
-
MASPOB 把多智能体系统的 prompt 优化看作预算紧缩的黑盒优化,用 GAT 代理模型捕获 workflow topology 下的 prompt 耦合、用 LinUCB 在嵌入空间算 epistemic uncertainty、用坐标上升把联合搜索拆成序贯单体问题,复杂度从 \(\mathcal{O}(\prod |\mathcal{P}_i|)\) 降到 \(\mathcal{O}(\sum |\mathcal{P}_i|)\);在 6 个基准(QA/Code/Math)上平均 80.58 超越 MIPRO 78.87、AFlow 78.52、IO 68.56。
- OMAC: A Holistic Optimization Framework for LLM-Based Multi-Agent Collaboration
-
本文把多智能体系统的优化空间形式化为五个维度(两个功能维度 + 三个结构维度),用"Semantic Initializer 生成 + Contrastive Comparator 对比改进"的双 actor 算法在每个维度上做监督式优化,再迭代联合优化多个维度,在 HumanEval / MMLU / MATH 上稳定打败 DyLAN、ADAS、AFlow 等基线。
- ProtocolBench: Which LLM MultiAgent Protocol to Choose?
-
ProtocolBench 首次系统对比四大 LLM 多智能体通信协议(A2A、ACP、ANP、Agora)在任务成功、端到端延迟、消息字节开销、失败鲁棒性四轴上的表现——发现协议选择对系统行为有 36.5% 完成时间差、3.48s 延迟差;进一步提出 ProtocolRouter 按场景/模块动态选协议,将 Fail-Storm 恢复时间降 18.1%。
✏️ 知识编辑 (8)¶
- AnyEdit++: Adaptive Long-Form Knowledge Editing via Bayesian Surprise
-
AnyEdit++ 用 token 级 Bayesian Surprise 找到长文本中的语义转折点,把 AnyEdit 的固定窗口切分改成结构感知的 Bayes-Chunk,并在数学、代码、新闻、诗歌等长文本知识编辑任务上稳定提升 BLEU 与 BERT Score。
- CrispEdit: Low-Curvature Projections for Scalable Non-Destructive LLM Editing
-
把 LLM 编辑写成"最小化编辑损失 s.t. 能力损失不变"的约束优化, 用 Bregman 散度等价转化为 Gauss-Newton Hessian 的低曲率子空间投影, 再借 K-FAC + 一个无需显式构造投影矩阵的 Kronecker 特征基技巧, 让 3000 条编辑在 A40 上 6 分钟跑完, 同时把 LLaMA-3-8B 的 MMLU/IFEval/ARC-C/TruthfulQA/GSM8K 平均掉点压到 < 1%, 显著优于 AlphaEdit / MEMIT / 微调。
- Do Text Edits Generalize to Visual Generation? Benchmarking Cross-Modal Knowledge Editing in UMMs
-
本文提出 UniKE——首个面向统一多模态模型 (UMM) 的"跨模态知识编辑"基准(2,971 个编辑主体、5,535 条 VQA 可验证实例),系统性地揭示了"文本侧编辑成功率 ~92% 但图像生成 VQA 仅 ~18.5%"的模态鸿沟,并通过"推理增强参数编辑"协议把 VQA 准确率最多拉高 18.6 个百分点,进一步用条件通路上的余弦漂移指标将根因定位到 LLM-to-DiT 投影瓶颈。
- From Backward Spreading to Forward Replay: Revisiting Target Construction in LLM Parameter Editing
-
本文系统剖析了 locate-then-edit 编辑中 backward spreading 为什么能 work 又为什么 work 得不彻底,并提出 forward replay:把第一决定层作为优化变量、再通过标准前向传播得到后续各层 target,无需额外算力就能在 MEMIT/RECT/PRUNE/AlphaEdit 之上一致涨点。
- KORE: Enhancing Knowledge Injection for Large Multimodal Models via Knowledge-Oriented Controls
-
KORE 通过两阶段"知识导向控制"为 LMM 注入新知识 — 一边把单条事实自动扩成结构化的多轮对话+指令任务(提升泛化),一边用先前知识的协方差矩阵零空间初始化 LoRA 适配器(最小化对旧能力的干扰),在 LLaVA-v1.5 / Qwen2.5-VL 上同时实现强适配和强保留。
- Reverse-Engineering Model Editing on Language Models
-
论文揭示 locate-then-edit 类知识编辑方法(ROME/MEMIT/AlphaEdit)的参数更新矩阵会通过其行空间泄露"被编辑主语"的指纹,并提出两阶段攻击 KSTER(先用 SVD 恢复主语,再用前后模型的熵差恢复 prompt),同时给出基于"语义诱饵"注入的子空间伪装防御方案。
- Revisiting Parameter-Based Knowledge Editing in Large Language Models: Theoretical Limits and Empirical Evidence
-
本文从"维度坍塌"假设出发,证明参数级知识编辑会沿低奇异值方向被放大并随序列编辑线性累积,进而在多模型、多数据集、多评测维度上系统性地拖垮 LLM 核心能力,并指出一个简单的检索式基线 SCR 在所有设定下都优于现有参数编辑方法。
- The Labyrinth and the Thread: Rethinking Regularizations in Sequential Knowledge Editing for Large Language Models
-
本文从优化角度证明:序列编辑(SE)之所以稳定,本质是"累积更新等价于一次性编辑(OTE)的解",而 AlphaEdit 的零空间投影、PRUNE/RECT 的后处理正则等花哨机制并非关键——只要保证 OTE-SE 对齐,去掉这些正则也能在 4 个主流 LLM 上稳定完成 2000 步序列编辑。
💬 LLM 其他 (33)¶
- A Geometric Relation of the Error Introduced by Sampling a Language Model's Output Distribution to its Internal State
-
本文从微分几何视角刻画 GPT 风格 LLM 在高熵分布上采样所引入的信息丧失,构造 \(\mathfrak{so}(n)\) 值 1-形式与平行输运算子,并在国际象棋探针实验中证明这种几何旋转与模型学到的世界向量高度同向。
- ANCHOR: Abductive Network Construction with Hierarchical Orchestration for Reliable Probability Inference in Large Language Models
-
ANCHOR 用"自底向上溯因 + 层级聚类" 构造稠密因子空间,对下游条件做粗到细检索得到稀疏相关因子集,再联合 Naïve Bayes 与一个 LLM 现场构造的潜变量因果贝叶斯网络做后验聚合,在 LLM 高风险决策场景中显著减少 "unknown" 预测并提升概率校准。
- Automated Formal Proofs of Combinatorial Identities via Wilf–Zeilberger Guidance and LLMs
-
WZ-LLM 把经典的 Wilf–Zeilberger 符号证明流程编译成 Lean 4 中可执行的证明骨架(递推 + 边界条件 + 侧条件),交给专门用 SFT + expert-iteration + DAPO 训练出的 WZ-Prover 逐项 discharge,在 100 个经典组合恒等式上把 pass@32 从 Goedel-Prover-V2 的 9% 提升到 34%。
- Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision
-
本文提出 Compute as Teacher(CaT):把 GRPO 已经在采样的 G 条 rollouts 通过冻结锚模型"合成"出一个伪参考答案,再在非可验证领域用模型自己从该伪参考衍生的二元 rubric 给每条 rollout 打分作为 RL 奖励,从而在没有任何人工标注的情况下把推理算力直接变成监督信号,在 HealthBench 上相对基线最高提升 30%,并以 9× 更低的测试时算力匹配甚至超过 inference-time aggregation。
- Deep Networks Learn to Parse Uniform-Depth Context-Free Languages from Local Statistics
-
作者提出一个可控歧义的"变树 RHM"概率上下文无关文法,并证明只用 root-to-pair / root-to-triple 这两个低阶矩 + 逐层聚类,就能恢复语法规则、进行 CYK 式解析,对应样本复杂度 \(P^\star \asymp v\, m_3\, m_2^{L-1} (p_2^2/2)^{1-L}\),CNN 与 Transformer 实验完全符合该幂律。
- Differential Syntactic and Semantic Encoding in LLMs
-
通过对共享句法结构或共享含义的句子做隐层表示平均得到"句法质心"和"语义质心",作者证明 DeepSeek-V3 等大模型的句子向量中相当一部分句法/语义信息是被线性叠加编码的,并且这两类信息在层间分布和正交消融上都呈现明显的可分离性——支持"句法相对自治"的语言学假说。
- Express Your Doubts: Probabilistic World Modeling Should Not Be Based on Token logprobs
-
这是一篇 position paper,主张:用 LLM 的 token softmax 概率(logprob)当成"世界事件概率"是理论上错的——因为 distribution estimation、response prediction 和 target distribution estimation 是三个不同任务,对应不同 ideal 输出分布;获取世界概率的正确做法是二阶预测——让 LLM 在输出里显式写出它对事件的概率(数值或语言修饰词),而不是去算"它说 X 的概率"。
- How Many Different Outputs Can a Transformer Generate?
-
本文从"有限精度 + 有界嵌入支撑"两个最基本的架构事实出发,证明任意 transformer 只能生成有限条"可达序列",给出可达序列长度随 prompt 长度线性增长、超过阈值后比例以 \(1/|V|^n\) 指数衰减的紧上界,并用 cramming 与 copying 实验在 Pythia/Qwen/Llama/Gemma 上验证理论斜率与实测仅差 5–10 倍。
- "I've Seen How This Goes":用渐进条件惊奇度刻画 LLM 与人类写作的多样性
-
本文提出 \(D_{Ca_n}=C\cdot a_n\) 这一无需 embedding、无需参考语料、无需人工标签的多样性度量:用一个基座模型 \(\theta\) 在单次前向里读完所有响应,把"最后一条响应在已见过 \(n-1\) 条之后还剩多少 per-byte 条件惊奇"乘上"响应整体的可读性",在 McDiv 人评基准上逼近 SentBERT,并在 OLMo-2-7B 的 base→SFT→DPO→RLVR 上单调下降,准确捕捉后训练带来的模式坍缩。
- Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation
-
作者把异步流水线并行训练 LLM 时延迟梯度导致收敛崩塌的"罪魁祸首"归结为 Adam 的基底失配(Hessian 特征基与坐标轴不对齐),并提出在 Hessian 特征基下做基底旋转再走 Adam 更新,3B 模型上比最强异步基线少 81.7% 迭代就能达到同样 loss。
🔍 信息检索/RAG (23)¶
- BlitzRank: Principled Zero-shot Ranking Agents with Tournament Graphs
-
提出基于锦标赛图(tournament graph)的零样本重排序框架 BlitzRank,通过将每次 \(k\)-wise 比较产生的 \(\binom{k}{2}\) 个偏好对累积到全局偏好图中并利用传递闭包推断额外排序关系,在 14 个基准、5 个 LLM oracle 上实现 Pareto 最优——在匹配或超越现有方法精度的同时减少 25–40% token 消耗。
- CARE: Class-Adaptive Expert Consensus for Reliable Learning with Long-Tailed Noisy Labels
-
提出 CARE 框架,利用 VLM 的文本嵌入、图像特征和原始标签三路互补专家,通过类别自适应 Top-\(K\) 共识机制实现长尾噪声标签场景下的可靠标签矫正,在合成与真实基准上一致超越 SOTA 最高 3.0%。
- Graph-R1: Towards Agentic GraphRAG Framework via End-to-end Reinforcement Learning
-
Graph-R1 把 GraphRAG 重写成"知识超图环境 + 多轮 think–query–retrieve–answer 智能体 + 结果导向 GRPO"的端到端 RL 框架,用更轻量的 n 元超图构建和双路超边检索 + RRF 融合,在 6 个标准 RAG 数据集上把 7B 模型的 F1 从 Search-R1 的 46.19 拉到 57.82。
- HGMem: Hypergraph-based Working Memory to Improve Multi-step RAG for Long-Context Complex Relational Modeling
-
本文把多步 RAG 中的 working memory 从"扁平的事实列表"重构成一张超图——每条超边就是一个可被 update / insert / merge 的记忆点,借助超边天然连接 \(n\geq 2\) 个实体的能力,让记忆能在交互过程中持续合并低阶事实成高阶概念,从而显著提升需要"全局意义构建"的长上下文问答性能。
- Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation
-
Ψ-RAG 用"合并—坍缩"式的层次聚类替换 RAPTOR 的 k-means 来构建跨文档抽象树,并配上一个具备多轮重写能力的检索回答 Agent 与稀疏 BM25 混合索引,让 Tree-RAG 第一次能在语料级、跨文档多跳问答上追平甚至超越 Graph-RAG,平均 F1 比 RAPTOR 高 25.9%、比 HippoRAG 2 高 7.4%。
- How can embedding models bind concepts?
-
本文把 "embedding 模型为什么不会绑定概念" 形式化成 "binding function 的复杂度问题":通过几何分析证明 CLIP 的场景嵌入可加性分解成对象与概念之和(解释了单模态可探测、跨模态却失败),并在受控 Transformer 上证明当数据覆盖足够时,模型会学到一个由概念间乘性交互主导的低复杂度 binding,从而实现对未见对象组合的系统性泛化。
- LazyAttention: Efficient Retrieval-Augmented Generation with Deferred Positional Encoding
-
LazyAttention 把 RoPE 位置编码从 KV 缓存写入阶段推迟到 attention kernel 内部 on-the-fly 完成,让同一份物理 KV 副本可以被任意 logical 位置复用,在 skewed RAG 工作负载上比 SOTA Block-Attention 减少 1.37× TTFT、提升 1.40× 吞吐,且生成质量基本无损。
- LEMUR: Learned Multi-Vector Retrieval
-
Lemur 将多向量相似性搜索转化为监督学习问题,用一个两层 MLP 将 token 级嵌入映射到低维潜空间,再利用现有单向量 ANNS 索引完成检索,比 PLAID/MUVERA 等方法快一个数量级。
- Less Is More: Elevating RAG via Performance-Driven Context Compression
-
CORE-RAG 用"性能即奖励"的 GRPO 强化学习训练一个 1.5B 小压缩器,把检索到的 top-k 文档压成 ~3% 长度的摘要,结果不仅没掉点反而在 4 个 QA benchmark 上比满上下文 RAG 平均提升 3.3 EM。
- ML-Embed: Inclusive and Efficient Embeddings for a Multilingual World
-
ML-Embed 把 Matryoshka 思想从一维 (representation 维度) 扩展到三维 —— 在 embedding 参数 (MEL)、模型深度 (MLL)、表征维度 (MRL) 上全栈嵌套训练, 同时构建 282 种自然语言 + 40 种编程语言、5000 万样本的多语训练集, 推出 140M-8B 一族开源模型, 在 17 个 MTEB benchmark 上 9 个拿第一, 波兰语 +22.89, 越南语 +6.88.
💻 代码智能 (15)¶
- AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms
-
AlgoVeri 构建了一个跨 Dafny、Verus、Lean 严格对齐的经典算法 verified code generation 基准,显示当前 LLM 在复杂全局不变量、系统级约束和显式证明搜索上仍有巨大缺口,尤其是 Lean 与 Verus 的成功率远低于 Dafny。
- BoostAPR: Boosting Automated Program Repair via Execution-Grounded Reinforcement Learning with Dual Reward Models
-
BoostAPR 给"用 RL 训 program-repair 模型"造了一套三阶段流水线——execution-verified SFT → 训序列级 + 行级双重 reward → PPO 时用行级模型把序列奖励重新分配到关键 edit lines;在 Qwen2.5-Coder-32B 上把 SWE-bench Verified 从 17.8% 推到 40.7% (+22.9pp),跨语言迁移到 Defects4J 取 24.8%。
- CentaurEval: Benchmarking Human-in-the-Loop Value in Agentic Coding
-
提出 CentaurEval,首个面向人机协作编程的统一评测框架,通过设计 45 个"协作必需"(Collaboration-Necessary) 任务模板,证明单独 LLM 仅 0.67% 通过率、人类独立仅 18.89%,而人机协作可达 31.11%,揭示 LLM 正从执行工具演变为共推理伙伴。
- Entropy-informed Decoding: Adaptive Information-Driven Branching
-
EDEN(Entropy-informed DEcodiNg)把每一步的束宽 \(B_t\) 设成与归一化熵 \(\bar H_t\) 单调正比——高熵 fork 多分支、低熵步骤近贪心——用更少的总扩展近似更宽的 beam search;理论上证明熵单调的分支因子在期望累计 regret 上严格优于任何固定束宽,且能给出 \(\mathbb{E}[R_T] \leq G P_\max \sum_t \exp(-c m_t \Delta_\min^2)\) 的显式 regret 率。
- HE-SNR: Uncovering Latent Logic via Entropy for Guiding Mid-Training on SWE-bench
-
在 SWE-bench 上传统 PPL 既受"长上下文税"干扰又无法预测 SFT 后的智能体能力,本文提出"熵压缩假说"和 HE-SNR 指标,只在 Top-10 熵大于 \((\ln 3 + \ln 4)/2\) 的"高熵决策点"上算信号噪声比,与下游 SWE-bench 得分的 Pearson 相关达 0.96,Kendall 一致性 0.98。
- Locally Coherent Parallel Decoding in Diffusion Language Models
-
本文提出 CoDiLA,在 masked 扩散语言模型(DLM)外挂一个轻量自回归(AR)小模型,用"软嵌入"接收 DLM 的边缘分布并在小块内做局部自回归解码,从而在保留 DLM 全局双向能力的同时消除并行采样产生的局部不连贯问题,在代码生成上以 ≥2× 吞吐建立新的 Pareto 前沿。
- MARS: Modular Agent with Reflective Search for Automated AI Research
-
MARS 把自动化 AI 研究重构成"在软件仓库空间中搜索最优解"的问题,用 预算感知 MCTS + 模块化"设计-分解-实现"流水线 + 比较式反思记忆 三根支柱,在 MLE-Bench 上拿到开源框架 SOTA,金牌率 31.1%(Gemini-3-Pro-Preview),并出现 63% 的跨分支课程迁移这种"Aha! moment"。
- MatchFixAgent: Language-Agnostic Autonomous Repository-Level Code Translation Validation and Repair
-
MatchFixAgent 把仓库级代码翻译的"等价性验证 + 修复"全面 LLM 化:用 6 个并行语义子分析器(控制流 / 数据流 / IO / 库 API / 异常 / 规约)替代昂贵的跨语言互操作工程,再叠加一个测试生成 & 修复 Agent 和一个仲裁 Agent,仅 1650 行代码就把验证覆盖率从 71.6% 抬到 99.2%,可修复缺陷比例从 18.5% 抬到 50.6%。
- NEMO: Execution-Aware Optimization Modeling via Autonomous Coding Agents
-
NEMO 把自治编码代理 (Autonomous Coding Agent, ACA) 当作和 LLM 同级的"一等抽象"来调用,让独立生成的模拟器和优化器在共享沙箱里通过执行结果互相校验,再叠加多样性记忆检索与 MBR/自一致性解码,在 9 个优化建模基准上 8 个拿到 SOTA、最高领先 28 个百分点。
- Physics Is All You Need? A Case Study in Physicist-Supervised AI Development of Scientific Software
-
作者以"一位物理学家用 Claude Code 在 12 天 57 个会话里开发 ~2,100 行可微分宇宙学微扰理论代码 clax-pt"为单例(\(N=1\))案例,量化记录了 15 次督导事件,证明在科学软件场景下决定产物可信度的不是模型能力,而是围绕 oracle 测试、共享变更日志、"禁打补丁"等规则搭建的人工监督协议。
🗣️ 对话系统 (4)¶
- DiscoverLLM: From Executing Intents to Discovering Them
-
DiscoverLLM 把 "用户没想清楚自己要什么" 形式化为意图层级树的渐进发现过程,用可奖励的层级化用户模拟器训练模型在不清晰时主动发散探索、在清晰时收敛执行,在创意写作 / 技术写作 / SVG 三任务上比 CollabLLM 等 baseline 满意度 +10%、对话长度 -40%。
- From Self-Evolving Synthetic Data to Verifiable-Reward RL: Post-Training Multi-turn Interactive Tool-Using Agents
-
针对"多轮交互式工具调用 Agent"后训练里两大瓶颈——高质量数据贵 + 用户模拟噪声毁 RL 信号,作者提出"自演化多 agent 数据合成 (AReaL-SEA)"配套生成可执行 verifier 当奖励,再配上"先 SFT 用户模型再做大 batch + 动态过滤 GRPO"的 RL recipe,在 τ²-bench 上把 Qwen3-235B 推到 Airline 73.0 / Telecom 98.3 的 pass^1,全面达到或超过 Claude/Gemini/GPT-5。
- Is Your LLM Overcharging You? Tokenization, Transparency, and Incentives
-
本文把 LLM-as-a-Service 建模成"委托-代理"问题,证明现在主流的"按 token 收费"机制天然激励服务商把同一字符串重新切成更长的 token 序列来超额收费,并且即使强制服务商公开 next-token 分布,多收费而不被发现也只是 NP-Hard 而非不可行——作者给出一个简单启发式算法在保持合理性的前提下实测最多多收 11.2% 的 token,最后证明唯一能消除该激励的可加性定价机制是"按字符长度线性计费"。
- Not All Prefills Are Equal: PPD Disaggregation for Multi-turn LLM Serving
-
本文指出多轮对话场景下传统 Prefill-Decode 分离架构因每轮都要 P→D 重算并传输 KV 而严重低效,提出 PPD(Prefill-capable Decode)动态路由系统,让 decode 节点根据 SLO 权重决定是否本地处理 Turn 2+ 的 append-prefill,把 Turn 2+ TTFT 降低约 68%。
🌐 多语言/翻译 (3)¶
- Edit-Based Refinement for Parallel Masked Diffusion Language Models
-
ME-DLM 给 masked diffusion 语言模型(如 LLaDA)加一个"解码完再编辑修补"的轻量阶段:第一阶段照常 unmask 出粗稿,第二阶段用替换/删除/插入三种 token 级编辑做并行修正,监督信号来自 edit distance 的最短编辑脚本,在只用 1/8 扩散步数的情况下 HumanEval +11.6 / GSM8K +33.6 点反超 LLaDA-Instruct。
- Optimizing Language Models for Crosslingual Knowledge Consistency
-
本文针对多语言 LLM 在不同语言间回答同一问题却给出冲突答案的问题,设计了一个用"另一种语言下回答的对数似然"作为 reward 的 RL 目标,证明其最优策略呈 product-of-experts 形式并在 \(\gamma_1\gamma_2=\beta^2\) 时保证跨语言偏好一致;据此推导出无需 reward model、无需 online 采样的 DCO(Direct Consistency Optimization) 算法,在 9 个 LLM、3 个多语言 QA 基准、26 种语言上同时提升跨语言一致性(RankC)与回答准确率。
- Toward Robust Multilingual Adaptation of LLMs for Low-Resource Languages
-
LiRA 在冻结的多语言编码器与英文 LLM 之间插一层 "锚定 + 一致性正则" 的轻量微调模块,把低资源语言的句向量按 \(\epsilon_1\)(锚定误差)与 \(\epsilon_2\)(翻译 KL 距离)这两个理论可控的量约束到共享英文语义空间,从而在检索、排序与推理三类任务上同时拿到稳定提升。
✍️ 文本生成 (2)¶
- Characterizing the Effect of Noise in Language Generation in the Limit
-
在 Kleinberg-Mullainathan 的"语言极限生成"形式化框架下,本文证明了对于均匀和非均匀生成,噪声水平 1 与任意有限噪声水平 \(i \geq 1\) 等价(层级坍缩),但无噪声与噪声 1 之间存在严格分离,并首次给出了非均匀噪声依赖可生成性的完整刻画。
- Score-Repellent Monte Carlo: Toward Efficient Non-Markovian Sampler with Constant Memory in General State Spaces
-
SRMC 用一个 \(d\) 维的 running score 平均(而不是 \(|\mathcal{X}|\) 维的经验测度)来记录历史,再通过指数 score-tilt 把这段历史折成一个"排斥已访问区域"的代理目标 \(\pi_\theta\),套在任何 base MCMC kernel 外面,就能在通用状态空间下用常数内存实现非马尔可夫、低方差、保持归一化无关性的采样器。
📖 NLP 理解 (2)¶
- Causal Fine-Tuning under Latent Confounded Shift
-
本文提出 Causal Fine-Tuning (CFT):在标准 BERT 微调里嵌入一个 SCM 启发的"高级稳定特征 \(C\) + 低级混杂敏感特征 \(\Phi\)"分解,并用 front-door 风格的 do-calculus 调整公式做预测,在文本伪相关注入攻击下显著优于 SFT/SWA/WISE 等单域泛化基线。
- Controlling the Risk of Corrupted Contexts for Language Models via Early-Exiting
-
本文把"用户提供的损坏上下文会降低 LLM 性能"这个问题形式化为风险控制——以 zero-shot 表现作"安全基线",结合动态 early-exit(在中间层就出预测避免后层 overthink 有害上下文)+ context-aware 损失 + 改进的 Learn-then-Test 框架(保留负损失值用风险变换而非裁剪),在 9 个任务上既保证风险 ≤ user-specified \(\epsilon\),又获得 > 50% 的算力加速。
🎨 图像生成 (125)¶
- A Diffusive Classification Loss for Learning Energy-based Generative Models
-
这篇论文提出 DiffCLF,把时间噪声层级之间的能量估计改写成分类问题,并与 DSM 联合训练,从而在不引入昂贵最大似然采样的情况下学习更可靠的能量函数,尤其改善了分数匹配在多模态权重上的模式盲区。
- A Kinetic Energy Perspective of Flow Matching
-
这篇论文把 flow matching 采样轨迹看成粒子运动,定义 Kinetic Path Energy(KPE)来度量每个样本生成过程的累积动能,并据此提出训练-free 的 Kinetic Trajectory Shaping,在提升生成质量的同时抑制末端能量尖峰导致的记忆化。
- A Systematic Investigation of RL-Jailbreaking in LLMs
-
这篇论文把 RL-based LLM jailbreaking 当作一个可拆解的 POMDP 系统来研究,发现奖励函数、episode 长度和训练问题数量等环境定义因素,比单纯换 RL 算法更大程度决定自动化红队成功率。
- A Unified Framework for Diffusion Model Unlearning with f-Divergence
-
这篇论文把扩散模型概念遗忘中的 MSE/KL 对齐推广到任意 \(f\)-divergence,提出 f-DMU 框架,并发现 closed-form Hellinger loss 往往比 MSE 更稳、更能保留非目标概念。
- AdaEraser: Training-Free Object Removal via Adaptive Attention Suppression
-
AdaEraser 用“目标残留程度”自适应调节扩散模型 self-attention 抑制强度,在不训练新模型的情况下同时提升目标删除完整性和背景重建质量,并在 Mulan 与 OABench 上超过训练式和 training-free object removal 方法。
- Adapting Noise to Data: Generative Flows from Learned 1D Processes
-
本文认为 flow/diffusion 模型默认高斯 latent 并不总适合数据分布,提出用可学习的一维 quantile functions 构造数据自适应 product prior,在 flow matching 中联合学习噪声和速度场,从而缩短 transport path 并改善重尾天气数据和低容量图像生成表现。
- Adversarial Flow Models
-
作者在 GAN 训练目标上加一个最优传输正则 \(\|G(z)-z\|^2\),把 GAN 的"任意搬运图"约束成 Wasserstein-2 最优搬运图,让纯 transformer 上的对抗训练第一次能稳定收敛并端到端做单步生成,ImageNet-256 上 1NFE FID 刷到 2.38(XL/2)和 1.94(112 层)。
- AesFormer: Transform Everyday Photos into Beautiful Memories
-
AesFormer 将日常照片美化定义为 Aesthetic Photo Reconstruction,通过先生成摄影动作计划再执行结构编辑的两阶段框架,把构图、视角和姿态等拍摄时错误转化为可执行编辑,并在 AesRecon 上显著优于开源编辑器、接近 Nano Banana Pro。
- AG-REPA: Causal Layer Selection for Representation Alignment in Audio Flow Matching
-
AG-REPA 发现音频 Flow Matching 中“存储语义信息的层”和“真正驱动速度场的层”并不重合,提出用 forward-only gate ablation 选择因果贡献最高的层做表示对齐,在语音和通用音频生成上比固定层 REPA 更快收敛、更低 FAD。
- Alignment-Guided Score Matching for Text-to-Image Alignment in Diffusion Models
-
这篇论文提出 Alignment-Guided Score Matching,用 reward-free 的 Plackett-Luce 对齐奖励把正负文本-图像匹配信号直接写入扩散 score matching 目标,通过训练轻量 soft tokens 改善 T2I 语义对齐,同时缓解 SoftREPA 常见的重复生成和计数错误。
🧩 多模态 VLM (99)¶
- 3ViewSense: Spatial and Mental Perspective Reasoning from Orthographic Views in Vision-Language Models
-
3ViewSense 认为 VLM 空间推理的瓶颈不是视觉特征不够或语言推理太弱,而是缺少稳定的三维中间表示,因此让模型先从单张图像诱导前视图、左视图、俯视图,再基于这些正交视图推理,在遮挡计数和视角一致空间推理上显著优于同规模 VLM。
- Active Exploring like a Pigeon: Reinforcing Spatial Reasoning via Agentic Vision-Language Models
-
本文把 VLM 空间推理从“被动看完所有视角再回答”改造成“按问题主动取景、更新认知地图、用可执行空间断言验证推理”的 agentic 流程,并用密集奖励微调 Qwen2.5-VL-3B,在 MindCube-Tiny 上取得 80.5% overall accuracy,尤其把 Rotation 子集提升到 85.0%。
- AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions
-
本文提出 AgentHijack,用 9 类可配置的日常环境破坏评测 computer-use Agent 鲁棒性,并进一步用 DA-GRPO 强化 grounding、引入 onlooker 进行行为总结与环境检查,使 UI-TARS-1.5-7B 在平均成功率上从 18.74% 提升到 22.89%。
- Alterbute: Editing Intrinsic Attributes of Objects in Images
-
Alterbute 用 VLM 自动挖掘 Visual Named Entity 身份簇,并在扩散模型中联合条件化身份参考、属性文本、背景和 mask,从而统一编辑物体颜色、纹理、材质和形状,同时尽量保持物体身份与场景上下文。
- Any3D-VLA: Enhancing VLA Robustness via Diverse Point Clouds
-
作者通过 pilot study 发现"显式把视觉提升到点云、再与 2D patch 融合"是 VLA 注入 3D 信息的最有效方式;为了解决 3D 数据稀缺和不同点云源(仿真/传感器/单目估计)的域差异,提出 Any3D-VLA:用 hybrid point cloud training 学到 source-agnostic 的几何表示,在真实抓取任务上 zero-shot 比最强 baseline 提升 29.2%(62.5% vs 33.3%)。
- AOEPT: Breaking the Implicit Modality-Reduction Bottleneck in Modality-Missing Prompt Tuning
-
AOEPT指出现有缺失模态 prompt tuning 会把多模态 Transformer 的推理范围压缩到可见模态子空间,并用从训练集蒸馏出的模态上下文提示为缺失模态补回可检索的隐式信息源,在多数据集、多缺失率和多 backbone 上稳定优于现有方法。
- Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination
-
这篇论文提出 VisualSwap 和 VS-Bench,通过在 VLM 自称“再看一眼图像”之后替换图像来检验真实视觉重检能力,发现当前推理型 VLM 往往沿着旧文本惯性继续生成,显式用户多轮指令或增强视觉注意力才能显著恢复 grounding。
- Bad Seeing or Bad Thinking? Rewarding Perception for Vision-Language Reasoning
-
本文把 VLM 的输出强制拆成
<recognition>感知块和<think>推理块,再用一个"蒙眼"文本推理代理(拿不到图,只看 VLM 写下的感知文字)能不能答对题作为感知奖励 \(R_P\),配上结构化语言验证 SVV 作为结果奖励 \(R_O\);MoCA 用 \(R_P\) 当门控做模态级信用分配,让 7B 模型在 9 个 perception/reasoning/rich-modality benchmark 上同时提升,在多个指标上超过 GPT-4o。 - Benchmarking and Enhancing VLM for Compressed Image Understanding
-
本文构建了首个评估 VLM 对压缩图像理解能力的大规模 benchmark(11 种编解码器、9 个 VLM、100 万+ 压缩图像),将性能下降分解为不可修复的"信息差距"和可弥补的"泛化差距",并提出一个轻量级条件视觉编码器适配器,通过编解码器类型和压缩级别的条件嵌入 + 蒸馏训练,在不同编码器和比特率下将 VLM 性能提升 10%–30%。
- Benchmarks for Vision-Language Models in Urban Perception Should Be Reliability-Aware and Negotiated
-
本文提出 VLM 城市感知评估应具备"可靠性感知"和"可协商"两大属性,通过 100 张蒙特利尔街景图像、12 名社区标注者、30 个维度的基准测试,揭示了模型对齐度与标注者一致性正相关,且在主观评价维度上模型与人类存在系统性分布偏差。
🎵 音频/语音 (30)¶
- A Semantically Consistent Dataset for Data-Efficient Query-Based Universal Sound Separation
-
这篇论文提出 Hive,一个通过单事件净化和语义一致混合构造的通用声音分离数据集,用约 2.4k 小时高纯度源音频让 AudioSep、FlowSep 在多项分离指标上接近甚至超过百万小时级训练的系统。
- Alethia: A Foundational Encoder for Voice Deepfakes
-
Alethia 提出一种"瓶颈式掩码嵌入预测 + Flow-Matching 频谱生成"的双分支预训练范式,训出首个面向语音 deepfake 检测/定位/溯源的基础编码器,在 5 类任务 56 个数据集上显著超过 Wav2vec2/HuBERT/WavLM 等通用 SFM,并对未见过的歌声 deepfake 和真实扰动表现出强零样本鲁棒性。
- Algorithmic Recourse of In-Context Learning for Tabular Data
-
这篇论文首次系统研究表格数据 in-context learning 场景下的算法追索问题,证明 ICL 诱导的动态决策规则仍可定义可界定的 recourse,并提出 ASR-ICL 用自适应子空间零阶优化在黑盒 ICL 模型上生成低成本、稀疏且可行动的反事实修改。
- An Exterior Method for Nonnegative Matrix Factorization
-
这篇论文提出 eNMF,把 NMF 从“始终待在非负正交锥内部优化”改成“先从无约束 SVD 最优解的旋转等价类外部逼近非负锥,再可行化并下降”,在合成、文本、音频、图像和推荐数据上比 9 类 NMF baseline 更快达到更低重构误差。
- Attend to Anything: Foundation Model for Unified Human Attention Modeling
-
AAM把图像、视频和音视频显著性预测统一为一个带文本条件、双曲层级约束和Fokker-Planck时间动力学的注意力基础模型,在16个基准上整体优于专用模型,并把视频推理速度提升到约111 FPS。
- Do Audio LLMs Listen or Read? Analyzing and Mitigating Paralinguistic Failures with VoxParadox
-
作者构造了一个让"文字说的"和"声音听的"故意打架的 2000 题 MCQ 基准 VoxParadox,证明当前 Audio LLM 在副语言任务上几乎只"读不听";再用一个按 prompt 自适应混合音频编码器中间层特征的轻量模块 PCLM 加上 DPO 偏好优化,把 Audio Flamingo 3 在 VoxParadox 上从 17.40% 拉到 65.20%。
- Evaluating and Rewarding LALMs for Expressive Role-Play TTS via Mean Continuation Log-Probability
-
本文把"预训练大音频语言模型对真值语音 token 的续写概率"包装成一个名为 MCLP 的客观风格一致性度量,再用 MCLP+CER 的门控混合奖励,通过 GRPO 在新构建的 WenetSpeech-RP-TTS 数据集上把角色扮演 TTS 的主观 MOS 从 1.86 推到 3.58。
- Group Cognition Learning: Making Everything Better Through Governed Two-Stage Agents Collaboration
-
针对集中式多模态融合带来的"模态主导"和"虚假模态耦合"两个痼疾,GCL 把多模态学习重写为两阶段四 agent 的协议化协作:第一阶段由 Routing/Auditing agent 用边际预测增益逐样本决定哪些跨模态交流被允许,第二阶段由 Public-Factor/Aggregation agent 把共享语义与私有特化解耦后再聚合,在 MOSI/MOSEI/MIntRec 上拿到 SOTA。
- JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments
-
JAEGER 在 Qwen2.5-Omni 基础上用 LoRA 适配出一个端到端的 3D 音视频大模型,通过 RGB-D 深度位置编码 + 一阶 Ambisonics (FOA) 双路音频 + 新提出的 Neural Intensity Vector,将传统 AV-LLM 从「2D RGB + 单声道」扩展到「3D 几何 + 多通道空间音频」,并配套发布了 61k 样本的 SpatialSceneQA 仿真基准。
- MECAT: A Multi-Experts Constructed Benchmark for Fine-Grained Audio Understanding Tasks
-
MECAT 用「多专家模型 + CoT 大模型推理」构造了 20k 条多视角细粒度音频字幕与 10 万条开放式 QA,并提出 DATE 指标(语义相似度 × 跨样本可区分度的调和平均),首次能稳定区分泛泛而谈与细节准确的音频模型输出。
🎬 视频生成 (28)¶
- AAD-1: Asymmetric Adversarial Distillation for One-Step Autoregressive Video Generation
-
AAD-1 用“因果生成器 + 双向视频级判别器”的非对称对抗蒸馏和 DMD warmup,把自回归 image-to-video 生成压缩到每个 chunk 只需一步采样,同时缓解 motion collapse 和长程漂移。
- Attention Sparsity is Input-Stable: Training-Free Sparse Attention for Video Generation via Offline Sparsity Profiling and Online QK Co-Clustering
-
SVOO 发现视频 DiT 每一层的注意力稀疏度是「层内输入无关、层间显著异质」的内在属性,据此先做离线分层稀疏度标定、再做在线 QK 双向协同聚类划块,免训练地在 Wan/HunyuanVideo 等 7 个模型上把 PSNR 维持 29 dB 的同时实现最高 1.93× 加速。
- CamGeo: Sparse Camera-Conditioned Image-to-Video Generation with 3D Geometry Prior
-
CamGeo 通过训练专用蒸馏(training-only distillation)从预训练 3D 视频模型(VGGT)蒸馏 3D 几何知识——仅在训练阶段提供监督信号使扩散模型能在稀疏相机输入条件下生成几何一致且运动平滑的高质量视频,推理时完全移除 VGGT 以保持效率。
- DFSAttn: Dynamic Fine-Grained Sparse Attention for Efficient Video Generation
-
DFSAttn 通过 3D Hilbert 曲线重排序 + 分层块评分 + 自适应掩码缓存,实现了与全注意力相媲美的质量下 2.1× 端到端加速——解决了块稀疏注意力在高稀疏率(>80%)下质量下降的核心问题。
- Enhancing Train-Free Infinite-Frame Generation for Consistent Long Videos
-
MIGA 通过两阶段训练推理对齐(TTA)和双重一致性增强(DCE:自反射 + 长距离帧指导)两个核心机制——在无需训练的前提下使基础视频模型能够生成无限长且高度时间一致的视频,VBench 综合评分相比 FIFO-Diffusion 提升 2.8%(97.82 vs 95.02)。
- EPiC: Efficient Video Camera Control Learning with Precise Anchor-Video Guidance
-
EPiC 用"基于第一帧可见性掩码"的方式从任意 in-the-wild 视频直接构造像素级对齐的 anchor 视频,再配一个仅 26M 参数(<1% backbone)、且只在可见区域生效的 Anchor-ControlNet,在冻结 CogVideoX-5B-I2V 主干、5K 视频、500 步训练的条件下,把 I2V 相机控制误差刷到 SoTA,并零样本泛化到 V2V。
- Explainable Forensics of Manipulated Segments in Untrimmed Long Videos
-
本文提出了长视频中 AI 生成片段的时序定位与可解释分析任务,引入 TASLE 大规模数据集和两阶段 MSLoc 基线方法——通过边界感知提议生成和 MLLM 精化实现对混合真伪视频中篡改片段的精确定位和可解释推理。
- Exploring Data-Free LoRA Transferability for Video Diffusion Models
-
本文首次对视频扩散模型(VDM)的 full fine-tune (FFT) 和 LoRA 做权重空间分析,发现两者都"保留奇异谱、只旋转奇异子空间",但在 head clusters 上路由方向冲突;据此提出 CASA——一个 data-free 的"按聚类做谱仲裁"的 LoRA 迁移方法,把基座 Wan2.1 上训的 LoRA 直接迁到 FastWan 等蒸馏后变体,无需任何用户数据/重训。
- iTryOn: Mastering Interactive Video Virtual Try-On with Spatial-Semantic Guidance
-
iTryOn 首次定义"交互式视频虚拟试衣"任务——让人在视频里主动操作衣物(拉拉链、提衣角、拉伸衣物)而非仅被动展示。通过3D 手部先验解决空间歧义、动作感知 RoPE(A-RoPE) 把时间戳动作标题与对应帧严格对齐、动作感知约束损失(AC Loss) 放大稀疏交互帧的学习信号,在自建 VVT-Interact 上 ISR(交互成功率)从基线 0.397 → 0.610(+54%)。
- Light Forcing: Accelerating Autoregressive Video Diffusion via Sparse Attention
-
Light Forcing 是首个为自回归(AR)视频扩散模型定制的稀疏注意力方案——块感知增长(CAG)量化每个生成块的累积误差贡献来动态分配稀疏度,分层稀疏注意力(HSA)通过帧级 → 块级二级掩码选择灵活捕捉历史依赖,在 Self Forcing 上实现 1.30× 端到端 / 3.79× 注意力加速且 VBench 总分 84.5 > 密集基线 84.1。
🔎 AIGC 检测 (7)¶
- AutoBaxBuilder: Bootstrapping Code Security Benchmarking
-
AUTOBAXBUILDER用LLM代理流水线自动生成Web后端安全评测场景、功能测试和端到端安全测试,把人工构建BAXBENCH式任务的成本降低约12倍,并构建出40个新场景的AUTOBAXBENCH来评估当代代码模型的正确性与安全性差距。
- Black-Box Detection of LLM-Generated Text Using Generalized Jensen-Shannon Divergence
-
SurpMark 把"AI 文本检测"重构成似然无关假设检验:用代理 LM 算 token surprisal 后 k-means 离散成 k 个状态,估计一阶 Markov 转移矩阵,再用广义 Jensen-Shannon 散度(GJS)和预先建好的"人写 / 机写"参考转移矩阵比较,单次前向就给出黑盒、无需重训、无需 per-instance 重采样的判别分数。
- CORE: Conflict-Oriented Reasoning for General Multimodal Manipulation Detection
-
作者把"多模态假新闻检测"重新定义为"显式捕获模态间或与世界知识之间的冲突"任务,构建了带细粒度冲突标注的 14k 语料 CAC,并提出 CORE 框架通过冲突感知训练(CPT)重塑 MLLM 的概念边界,使其在 DGM4、MDSM、MMFakeBench、NewsCLIPpings 四个数据集上以 100–750 个样本就大幅超过专用 SOTA。
- Distributional Open-Ended Evaluation of LLM Cultural Value Alignment Based on Value Codebook
-
DOVE 用率失真变分优化从 1 万篇人类文本中自动构造紧凑的"价值码本",再用不平衡最优传输度量人类与 LLM 长文本在价值空间上的分布差异,从而在 12 个 LLM 上把"评测—下游任务"相关性从基线 ≤24% 拉到 31.56%。
- Feature-Augmented Transformers for Robust AI-Text Detection Across Domains and Generators
-
本文在「单阈值固定协议」下系统暴露 AI 文本检测器在跨数据集/跨生成器 shift 下的脆弱性,并提出把可学注意力加权的手工语言特征与 transformer [CLS] 表征融合,配合 DeBERTa-v3 backbone,在 M4 多域多生成器基准上达到 85.9% balanced accuracy,比强 zero-shot 基线(Fast-DetectGPT、RADAR、Log-Rank)高最多 +7.22。
- Generating Robust Portfolios of Optimization Models using Large Language Models
-
本文提出一个轻量、无需训练的算法:用同一个 LLM 同时扮演"随机生成器"和"打分评审"两个角色,把生成概率前缀和达到 \(1-\alpha\) 的候选优化模型打包成 portfolio,从理论上证明只要"生成器"或"评审"任一与人类偏好对齐,portfolio 就一定包含高质量优化模型,并在 NL4LP 上用 GPT 验证 portfolio 在最差情况下也稳定优于随机采样。
- On the Salience of Low-Probability Tokens for AI-Generated Text Detection: A Multiscale Uncertainty Perspective
-
针对零样本 AI 生成文本检测里"高频 boilerplate 稀释信号"和"单点概率脆弱"两大痼疾,作者提出 Uncertainty / Uncertainty++ 检测器:只在每段文本底部 \(\rho\) 分位的低概率 token 上聚合 log-prob,并叠加同一组位置上的 Rényi 熵作为分布形状信号,再在 12 个生成器、7 个数据集上把平均 AUROC 从 Lastde 的 86.49 推到 88.74,且在改写 / 改解码这类扰动下显著更稳。
🧊 3D 视觉 (24)¶
- AvAtar: Learning to Align via Active Optimal Transport
-
本文提出 AvAtar,一个基于最优传输(OT)的主动对齐框架,通过梯度传播量化候选查询对全局对齐结果的影响,并利用伴随状态法和共轭梯度法以线性复杂度高效求解,在网络对齐和跨域对齐任务上一致超越已有主动学习策略。
- Convex Distance Operator Transport: A Convex and Geometry-Preserving Formulation
-
本文提出 CDOT(Convex Distance Operator Transport),通过把每个度量空间的距离矩阵和耦合一起"算子化",用 \(\|D_X T_\pi - T_\pi D_Y\|_{\mathrm{HS}}^2\) 替代 FGW 中那个非凸的成对距离差平方,从而首次得到一个对耦合 \(\pi\) 严格凸、同时仍然是合法伪度量、并具备有限样本风险界的异构空间对齐框架。
- APEIRIA: Distilling Neuro-Symbolic Programs into 3D Multi-modal LLMs
-
本文提出 APEIRIA,把神经符号 3D 概念学习器的程序执行轨迹蒸馏成 3D MLLM 的自然语言 chain-of-thought,再通过 GRPO 强化学习把这种推理模式推广到开放词汇与深层嵌套指令,在 ScanRefer、Multi3DRefer、SQA3D、Scan2Cap 上同时超越传统 NS3D 方法和当前最强的 3D MLLM,并保留了符号系统的可解释性与模块可替换性。
- Fast-SAM3D: 3Dfy Anything in Images but Faster
-
针对 SAM3D 单视图 3D 重建模型推理太慢的问题,本文做了第一份模块级时延剖析,发现性能瓶颈来自三种异质性(形状/布局动力学差异、纹理稀疏性、几何谱差异),并据此提出训练无关的 Fast-SAM3D 框架,用模态感知步缓存、时空 Token 雕刻与谱感知 Token 聚合三件套,在几乎不损质量的前提下把对象级速度推到 2.67×,重建 F-Score 反而从 92.34 微升到 92.59。
- FoundObj: Self-supervised Foundation Models as Rewards for Label-free 3D Object Segmentation
-
本文提出 FoundObj,把 2D/3D 自监督基础模型(DINOv2 + TRELLIS)当作奖励器,用一个"超点合并 + PPO"的 RL 代理在无任何场景级人工标注下完成复杂室内场景的多类 3D 物体分割,在 ScanNet/S3DIS/ScanNet200 上将无监督 SOTA 的 AP 从 19.6 提到 24.2。
- FSI2P: A Hierarchical Focus–Sweep Registration Network with Dynamically Allocated Depth
-
本文把人类“先扫一眼再逐块细看”的观察过程抽象为 Focus-Sweep 两阶段范式,用 Mamba 替换 Transformer 做图像-点云交互,并用强化学习动态决定每个尺度上的交互层数,在 RGB-D Scenes V2 和 7-Scenes 上拿到 I2P 配准的 SOTA。
- Geodesic Flow Matching for Denoising High-Dimensional Structured Representations
-
针对 Vector Symbolic Architecture 里 Spatial Semantic Pointer 这种"被嵌进单位超球面 Clifford 超环面"的高维结构化表示,作者指出标准 Flow Matching 的欧氏直线插值会从球面内部"穿心而过"导致幅值塌缩、相位毁掉,于是用 Log/Exp 映射把流约束在球面上做 Geodesic Flow Matching (GFM),在脉冲神经 SLAM 上把路径误差降低 72%,并让 1500 神经元的路径积分器达到 2500 神经元 baseline 的精度。
- Geometry-Guided Modeling of Foundation Features Enables Generalizable Object Shape Deformation Learning
-
本文提出 GODeform:把 2D 基础模型(DINOv3 类)特征"挂"到类别模板表面上做几何引导传播与跨视点融合,再用 Flow Matching 学一个从模板到目标的逐点形变场,从而在大形变、任意视角和未见类别上都能从单张图恢复 3D 形状,并直接服务于灵巧抓取迁移。
- HOI-PAGE: Zero-Shot Human-Object Interaction Generation with Part Affordance Guidance
-
HOI-PAGE 让 LLM 先"想清楚"身体哪个部位该接触物体哪个部件,把推理结果写成一张「部件 affordance 图」(PAG),再用它去驱动 3D 部件分割、视频扩散和优化求解,从而在零样本、零 4D 训练数据的条件下生成可处理"多人单物 / 单人多物"等复杂场景的 4D 人-物交互序列。
- LabBuilder: Protocol-Grounded 3D Layout Generation for Interactable and Safe Laboratory
-
LabBuilder 把自由文本的实验描述编译成"资产-化学协议",再用层级化生成 + 几何/化学多目标优化 + 导航修复,产出既视觉合理、又能让机器人真正跑通实验流程的 3D 化学实验室布局。
📹 视频理解 (17)¶
- AVTrack: Audio-Visual Tracking in Human-centric Complex Scenes
-
提出 AVTrack 数据集和 AVTracker 基线方法,针对复杂人体中心场景下的音视频实例分割与跟踪(AVIS)任务,通过定义 8 种挑战条件构建高难度评测基准,并设计三阶段局部-全局分治框架(ASR 分段聚合 → 局部说话人定位 → 全局身份关联),在 HOTA 指标上超越现有最优方法约 8 个百分点。
- Foresee-to-Ground: From Predictive Temporal Perception to Evidence-Driven Reasoning
-
Foresee-to-Ground (F2G) 把视频时序定位(VTG)从直接时间戳回归重构为「识别-测量」两阶段问题——先用预测性时序感知 + 跨度证据编码器构建候选事件证据池,再用 LLM 在选中事件的约束下精确生成边界,使 Charades-STA R@0.7 提升 4.1 个点、ActivityNet 提升 6.7 个点。
- MetaphorVU: Towards Metaphorical Video Understanding
-
本文提出首个隐喻视频理解基准 MetaphorVU-Bench(860 视频 + 8 类隐喻分类法)和增强方法 MetaphorBoost——通过 54K 节点 / 200K 边的隐喻知识图谱作为外部认知支架,定量揭示 MLLM 在隐喻视频上的核心瓶颈是"跨域映射缺失"而非视觉识别错误,最优模型相比人类(83.4)仍差 17 个点。
- OmniSIFT: Modality-Asymmetric Token Compression for Efficient Omni-modal Large Language Models
-
本文指出现有 Omni-LLM token 压缩方法对音频和视频"对称"处理是次优的,提出 OmniSIFT——先用时空显著性剪掉视频冗余得到"视觉锚点",再用这些锚点引导音频选择的两阶段非对称压缩框架,仅引入 4.85M 额外参数就在 Qwen2.5-Omni-7B 上保留 25% token 时一致超过现有压缩基线甚至原模型。
- Privacy-Aware Video Anomaly Detection through Orthogonal Subspace Projection
-
作者提出 OPL(Orthogonal Projection Layer)和加强版 G-OPL,用一个 QR 分解出来的可学习正交子空间,在视频异常检测特征空间中显式投影掉"任务无关变量"和"人脸隐私分量",同时引入 SSC/ARD/PD/FPD 四个隐私感知指标,在保持/提升 VAD AUC 的前提下让线性 SVM 探针对面部预测的准确率显著下降。
- ProAct-VL: A Proactive VideoLLM for Real-Time AI Companions
-
ProAct-VL 通过分块输入-输出范式 + 轻量级 FLAG 决策头 + 过渡感知损失函数,使视频大语言模型在流式输入下能自主决定何时响应并生成短片段评论,同时实现 ~1 秒低延迟与强主动性——在游戏解说任务上响应时机 TimeDiff 仅 1.20 秒、触发 F1 = 63.25%,全面超越 GPT-4o 等离线模型。
- RELO: Reinforcement Learning to Localize for Visual Object Tracking
-
RELO 把视觉单目标跟踪中"哪里是目标"这件事重构成一个空间特征图上的 MDP,把每个空间位置当作 action,用 actor-critic + IoU/AUC 直接奖励替换掉传统的手工中心热图监督,并配合"先 warmup 回归 + 层对齐时序 token 传播"两个稳定化设计,在 LaSOText 上以 57.5% AUC 拿到 SOTA。
- Return of Frustratingly Easy Unsupervised Video Domain Adaptation
-
本文提出 MetaTrans——一个"令人沮丧地简单"的无监督视频域适应(UVDA)方法,通过双流 Transformer 的时空特征相减来解耦空间和时间域差异,仅用两个基础损失(监督 + 域对抗)即可超过 SOTA 复杂方法,并把超参搜索成本从指数级压到线性级。
- Revisiting Uncertainty: On Evidential Learning for Partially Relevant Video Retrieval
-
本文针对 Partially Relevant Video Retrieval (PRVR) 中"短查询 vs 长视频"导致的查询歧义与时间稀疏监督问题,提出基于 Dirichlet 分布的层次证据学习框架 Holmes,在视频间用三重原则区分精确/多义/欠定查询并自适应校准标签,在视频内用带 dustbin 的柔性最优传输获得稠密对齐,在 ActivityNet/Charades/TVR 三个数据集上取得 SOTA。
- SkelHCC: A Hyperbolic CLIP-Driven Cache Adaptation Framework for Skeleton-based One-Shot Action Recognition
-
SkelHCC 把 CLIP 搬到 Hyperbolic 空间,显式按"关节 → 身体部分 → 全身"三粒度对齐骨骼-语言表示,并用 LLM 生成的身体部位重要性掩码做无训练的多粒度投票缓存推理,在 NTU120 单样本动作识别上比 SOTA 提升 9%,可训参数只有 0.5M。
🖼️ 图像恢复 (16)¶
- Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner
-
本文从表达力与可训练性两个维度系统比较连续扩散、离散掩码扩散、looped transformer,证明"连续扩散"在表达力上严格强于离散扩散并能模拟 looped transformer,但实际性能受限于解码与表征空间;据此提出 CCDD(Coevolutionary Continuous Discrete Diffusion)——在离散 token 空间和预训练 LLM 的上下文嵌入空间上同时扩散,由单一模型联合去噪,在 LM1B/OWT 上比 MDLM 困惑度降 25-35%,并以仅 8 步采样超过 MDLM 256 步效果。
- Coloring the Noise: Adversarial Sobolev Alignment for Faithful Image Super Resolution
-
ASASR 通过将 Flow Matching 的噪声先验从各向同性高斯替换为 Sobolev 谱着色噪声,结合对抗性流形引导生成硬负样本,构建 AS-DPO 框架,实现了超分辨率中感知质量与结构保真度的最优平衡。
- Consistent Diffusion Language Models
-
本文指出离散扩散没有连续域 probability-flow ODE 的对应物,因此无法直接做 consistency model;作者提出用精确闭式 posterior bridge 作为离散域的"随机版 PF-ODE 替代品",构造 Multi-Path Discrete Consistency (MPDC) 训练目标,要求 denoiser 在多条 stochastic bridge 路径上的预测在期望上一致,从而单阶段、teacher-free 地训出可在 2-3 步生成高质量文本的 Consistent Diffusion Language Model (CDLM),在 unconditional / conditional 文本生成上达到 SOTA、对 AR 模型最高 \(32\times\) 加速。
- DAPD: Dependency-Aware Parallel Decoding via Attention for Diffusion LLMs
-
DAPD 把 dLLM 单步并行解掩问题转化为「在自注意力诱导的 MRF 上选独立集」的动态图着色问题,无需训练即可同时解掩弱依赖位置,在 LLaDA / Dream 上把多问题混合提示的解码步数压到原始的 1/3.87,且准确率几乎不掉。
- Degradation-Aware Metric Prompting for Hyperspectral Image Restoration
-
DAMP 用 6 个可解释的空间-光谱物理度量(高频能量比/纹理一致性/光谱曲率等)作为"退化提示" (DP) 代替黑盒嵌入与显式退化标签,再用 DP 作为门控驱动 Spatial-Spectral Adaptive MoE 选择不同的"空间专家/光谱专家",在 5 种 HSI 恢复任务和 2 种未见退化(运动模糊、Poisson 噪声)上同时取得 SOTA。
- DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention
-
DyLLM 是一种 training-free 的扩散 LLM 推理加速框架,利用相邻去噪步骤之间注意力上下文的余弦相似度识别"显著 token",只对这部分 token 重算 FFN 和注意力,配合显著感知的近似注意力,在 LLaDA / Dream 上把吞吐推到 7.6× / 9.6× 而几乎不掉点。
- Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models
-
本文系统刻画了 masked 扩散语言模型 (dLLM) 在完全非自回归 (NAR) 解码下的失败机制——proximity bias 导致 confidence-based 采样退化为反向自回归并被 EOS 过早占满,再用一个 5M 参数的轻量 planner + EOS 温度退火只在第一步干预 unmasking 位置,就在 GSM8K 等推理任务上将 LLaDA 8B 的 NAR 解码平均提升 2.8–4.3 个点而几乎无额外开销。
- Learning Normalized Energy Models for Linear Inverse Problems
-
作者把"线性逆问题"重写为"各向异性去噪",并提出 Anisotropic Covariance Score Matching (A-CSM) 训出一个归一化的能量模型 \(U_\theta(\mathbf{y},\boldsymbol{\Sigma})\approx -\log p(\mathbf{y}|\boldsymbol{\Sigma})\),单个模型即可处理 inpainting、deblurring、super-resolution,并解锁能量引导自适应调度、MALA 无偏校正和盲逆问题三大新能力。
- One-shot Conditional Sampling: MMD meets Nearest Neighbors
-
CGMMD 用 k 近邻图把"期望条件 MMD(ECMMD)"估计成一个可直接最小化的非对抗目标,训出一个能在单次前向传播内从 \(P_{Y\mid X}\) 采样的条件生成器,并给出了非渐近误差界与分布收敛性证明。
- Phy-CoSF: Physics-Guided Continuous Spectral Fields Reconstruction and Super-Resolution for Snapshot Compressive Imaging
-
为单次曝光式压缩光谱成像 (CASSI) 设计一个 train-render 两阶段、按波长可任意查询的深度展开框架——在每个展开 stage 内塞入连续光谱场 (CoSF) 先验模块,由 Fourier-Mamba 驱动的三分支跨域特征混合器 + 随机频率编码 + 谱合成头组成,离散波长训练即可在推理时合成任意连续波长的高光谱图像,实现连续光谱重建与零样本光谱超分。
✂️ 语义分割 (13)¶
- Activation-Free Backbones for Image Recognition: Polynomial Alternatives within MetaFormer-Style Vision Models
-
本文用 Hadamard 乘积构造 PolyMLP、PolyConv 和 PolyAttn,替代 MLP、卷积和注意力中的点激活/softmax,在 MetaFormer 风格骨干中无需常规激活函数也能在 ImageNet、鲁棒性和 ADE20K 分割上达到或超过激活式模型。
- Beyond Detection: A Structure-Aware Framework for Scene Text Tracking
-
提出 SymTrack,一个无需检测的双分支场景文字跟踪框架,通过预测性 Token 校正(PTR)解决透视畸变导致的特征瓶颈,跨专家校准(CEC)消除文字实例间的高视觉歧义,自适应推理引擎(AIE)稳定细粒度定位,在三个基准上大幅刷新 SOTA(最高 +12.32% AUC)。
- FlowSeg: Dynamic Semantic Guidance for LLM-Conditioned Segmentation
-
本文指出当前基于 query 的 LLM-conditioned 分割是"propose-then-select"——候选 mask 往往已经够准,错就错在选不对;为此提出 FlowSeg,让 LLM 条件嵌入在 decoder 每一层都参与 query refinement 并被新的视觉证据持续更新,再叠一个轻量边界细化模块,在 RefCOCO/+/g 和 ReasonSeg 上一致刷点。
- Functional Attention: From Pairwise Affinities to Functional Correspondences
-
本文把 Transformer 里的 softmax 注意力重新解释为"两个学得到的函数基之间的最小二乘线性算子",借用形状匹配里的 functional maps 思想,把 \(n\times n\) 的点对亲和矩阵压缩成 \(k\times k\) 的紧致谱算子,在 PDE 求解、3D 点云分割和 OOD 推广上同时拿到 SOTA。
- Geometry-Preserving Unsupervised Alignment for Heterogeneous Foundation Models
-
GPUA 把 CLIP 这种语义有余而局部精度不足的 VLM 和 DINOv3 这种细粒度足但缺语义的 VFM 看作两种"视觉语言",用最优传输挖软对应再解正交 Procrustes 学一个保几何的线性映射,把 VFM 翻译进 VLM 空间——全程无监督、不更新任何预训练参数,零样本分类平均涨 11.8%。
- LightAVSeg: Lightweight Audio-Visual Segmentation
-
LightAVSeg 通过解耦 "语义筛选 (what)" 和 "空间定位 (where)",用全局通道调制替换 \(\mathcal{O}(N^2)\) 的跨模态注意力,让 AVS 模型在 20.5M 参数下达到 50.4 mIoU (MS3),并在 Snapdragon 8 Elite 上做到 163.4 ms 的端侧延迟,比 AVSegFormer-R50 快约 \(8\times\)。
- MVR-cache: Optimizing Semantic Caching via Multi-Vector Retrieval and Learned Prompt Segmentation
-
MVR-cache 把 LLM 语义缓存的相似度度量从"单向量 cosine"升级为"可学习分段后的多向量 MaxSim",并用 REINFORCE 训练一个轻量分段模型,在保证错误率上界 \(\delta\) 不变的前提下把缓存命中率最多再抬 37%。
- Refining Context-Entangled Content Segmentation via Curriculum Selection and Anti-Curriculum Promotion
-
CurriSeg 不动分割网络结构,只换训练计划:先用"时间损失统计 + 像素熵加权"的稳健课程把模型推到稳态,再用反课程的"频谱失明"微调(砍掉高频迫使模型读结构语义),就让 FEDER / FSEL / RUN 在 CHAMELEON / CAMO / COD10K / NC4K 等伪装/息肉分割基准上稳定涨 2–4%,零额外参数、训练时间还更短。
- Segment Anything with Robust Uncertainty-Accuracy Correlation
-
针对 SAM 系列只输出 mask-level 单一置信度、在域漂移下出现"Mask-level Confidence Confusion"的问题,本文给 SAM2 接上 Weibull 双粒度贝叶斯 mask decoder 做像素级 epistemic 估计,并配以受人类视觉启发的 style + deformation 协同对抗扰动 + 校准损失,让 uncertainty 在 23 个 zero-shot 目标域始终与误差对齐,平均 J&F 达 79.87 同时不确定性图变得显著可信。
- SPROUT: Supervise Less, See More — Training-free Nuclear Instance Segmentation with Prototype-Guided Prompting
-
SPROUT 是首个完全训练无关、零标注的病理核分割框架——用 H&E 染色先验在每张切片上自构高置信度前景/背景区域→提取原型→用部分最优传输(POT)做特征-原型软对齐→输出 SAM 的正/负点提示;在 MoNuSeg 等基准上 AJI 比训练方法高 8.2%。
🎯 目标检测 (6)¶
- Adversarially Robust Approximate Furthest Neighbor
-
这篇理论论文首次给出能抵抗自适应查询对手的近似最远邻数据结构,在保持与 Indyk 经典 oblivious 算法相近的 \(n\) 依赖查询复杂度的同时,证明传统随机投影最远邻算法会被自适应查询击穿。
- EARL: Towards a Unified Analysis-Guided Reinforcement Learning Framework for Egocentric Interaction Reasoning and Pixel Grounding
-
EARL 用"粗解析-细响应"两阶段 MLLM 框架把第一视角交互理解任务(描述+答问+像素掩膜)做成统一管线:第一阶段输出整图交互的全局描述并把最后一层 hidden state 当作语义先验,再通过新的 Analysis-guided Feature Synthesizer 注入到第二阶段,用 GRPO + 三路奖励(格式/答案/grounding 准确率)联合训练,在 Ego-IRGBench 上 cIoU 反超 Seg-Zero 8.37%。
- FOCUS: Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization
-
FOCUS 通过"完全去除类别名 + 注意力 mask 优化 + GRPO IoU 奖励"两阶段训练,让 VLM 真正按视觉支持示例(而非语义先验)做 in-context 目标定位;7B 参数模型超 72B 模型,证明任务对齐的 inductive bias 比单纯 scaling 更重要。
- Mixture Prototype Flow Matching for Open-Set Supervised Anomaly Detection
-
MPFM 把 OSAD 里传统的"单峰高斯原型"换成可学习的高斯混合原型空间, 用流匹配直接回归一个 GMM 形式的速度场, 再加一个互信息最大化正则防止原型崩塌, 在 9 个工业 / 医学 AD 数据集上以 10/1 个异常样本的设定打过 DRA / AHL / DPDL 等所有 SOTA.
- OmniVerifier-M1: Multimodal Meta-Verifier with Explicit Structured Recalibration
-
针对多模态视觉验证器只输出 True/False 二值判断信号过粗、且文本解释易被 reward-hacking 的问题,本文提出 OmniVerifier-M1:用 bounding box 等符号化输出代替文本作为 meta-verification rationale 以支持 IoU 这种 rule-based reward,并在理论与实验上证明把二值判断与 meta-verification 解耦成两条独立 reward 流(而非合并成乘性 joint reward)能显著提升 SNR,最终把验证器升级为可驱动 region-level 自校正的 agentic 系统 M1-TTS。
- Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection
-
作者指出"类内拆分"(class-split) 异常检测基准在异常类与正常混合分布在表示空间重叠时是病态的——AUROC 会塌缩到随机甚至反转,方向取决于未知的异常类,并提出一个无需训练的"邻域类泄漏"指标 \(L_k\) 来在跑分前诊断这种基准失效。
🧑 人体理解 (4)¶
- DiscoForcing: A Unified Framework for Real-Time Audio-Driven Character Control with Diffusion Forcing
-
DiscoForcing 把"音乐 → 全身舞蹈"的离线生成问题改写成严格因果、有界延迟的流式问题,用一个 VQ-PAE 因果音乐编码器 + 潜空间 Diffusion Forcing + 混合时间噪声调度 + 时间引导采样,把音乐流实时翻译成可直接驱动 Unity 虚拟人和宇树 G1 人形机器人的 30 FPS 全身动作。
- Efficient, Validation-Free Intrinsic Quality Estimation for Large-Scale Face Recognition Datasets
-
提出 Intrinsic Quality (IQ):用代理模型抽出嵌入后,把"邻域标签一致性 Consis"和"归一化谱熵有效秩 \(\tilde{r}_{\mathrm{ent}}\)" 加权融合,在不做完整训练、不要干净验证集的前提下给百万级人脸识别数据集打"可训练性"分数,在 WebFace4/12/42M 和注入噪声的设定上与下游 MFR-ALL 验证准确率排名一致性达到 Spearman = 1.0。
- MotionGRPO: Overcoming Low Intra-Group Diversity in GRPO-Based Egocentric Motion Recovery
-
MotionGRPO 把 head-mounted 设备的第一人称全身动作恢复转化为扩散采样上的 MDP,用 GRPO 配合"轨迹条件感知模型 + 4 个 joint-level 子奖励"的混合奖励做后训练;同时识别出"输入条件太强、组内样本几乎一样导致 advantage 方差消失"这一致命瓶颈,并用 Perlin 噪声注入条件来恢复组内多样性,在 AMASS/RICH 上把 MPJPE 从 EgoAllo 的 124.985 mm 降到 114.207 mm。
- WaveVerse: Scalable RF Simulation in Generative 4D Worlds
-
WaveVerse 把 LLM 驱动的"4D 室内场景+人体动作"生成与一套保留时空相位相干性的物理光线追踪器拼成一条 prompt 到 RF 信号的流水线,用合成数据显著提升 RF 成像与活动识别下游任务,且性能随仿真量持续上涨而不像已有方法那样饱和。
🛰️ 遥感 (3)¶
- Any2Any: Unified Arbitrary Modality Translation for Remote Sensing
-
Any2Any 把遥感中的 RGB、SAR、NIR、MS、PAN 等传感器互译从一堆成对模型改成一个共享潜空间里的统一潜扩散模型,并用百万级 RST-1M 数据集和目标模态残差适配器,在 14 个已见翻译方向和多个未见模态组合上取得更好的保真度与泛化能力。
- Localized, High-resolution Geographic Representations with Slepian Functions
-
本文用球面 Slepian 函数构造一种把表征容量集中在感兴趣区域 (ROI) 的地理位置编码器,并提出 Slepian-球面调和混合编码以同时兼顾局部高分辨率与全球粗粒度上下文,在五个分类、回归与图像增强预测任务上稳定超过 SH、Wavelet、RFF 等主流基线。
- The Perception-Physics Paradox: Probing Scientific Alignment with TC-Bench
-
作者指出视觉基础模型 (VFM) 在卫星图像上"看起来"很会预测,但在物理极端区段会沿物理坐标轴塌缩,于是用"结构同构"形式化"科学对齐"概念,并发布全球热带气旋基准 TC-Bench 与一套静态/动态/约束三层线性探针,系统揭露 DINO、CLIP、SigLIP、MAE 等冻结骨干在 \(P_c<980\) hPa 强气旋段的表征崩溃。
🎮 强化学习 (95)¶
- Adaptive Bandit Algorithms for Contextual Matching Markets
-
本文研究带上下文的在线匹配市场,把玩家对动态 arm context 的线性偏好作为 bandit 学习目标,提出适用于 stochastic contexts 的 BARB 和 adversarial contexts 的 AdECO,并给出 player-optimal stable regret 的自适应上界与紧的 \(\tilde O(T^{2/3})\) 级别理论结果。
- Agent Learning via Early Experience
-
本文提出 early experience 范式,让语言 Agent 在没有外部奖励的情况下利用自己尝试动作后的未来状态学习环境动态和决策反思,从而在 8 个 Agent 环境中稳定超过纯模仿学习,并为后续 GRPO 强化学习提供更好的初始化。
- ALSO: Adversarial Online Strategy Optimization for Social Agents
-
ALSO 把 LLM 社会智能模拟中的动态策略选择建模为对抗在线 bandit,并用轻量级奖励代理模型从对话历史中泛化稀疏反馈,在 Sotopia-Hard 上把整体分数从 3.02 提升到 3.53,尤其显著改善关系维度。
- ASAP: Exploiting the Satisficing Generalization Edge in Neural Combinatorial Optimization
-
ASAP 发现神经组合优化中“找出一组有希望的动作”比“直接选中唯一最优动作”更容易跨分布泛化,并用 proposal-selection 两阶段策略和 MAML 初始化让 3D-BPP、TSP、CVRP 神经求解器在分布变化时更稳、更快适配。
- Beyond Scalar Rewards: Dense Feedback for LLM Policy Synthesis in Sequential Social Dilemmas
-
提出 LLM 迭代策略合成框架,让 LLM 直接生成 Python 策略代码用于多智能体序贯社会困境,并通过"反馈工程"证明:在标量奖励基础上加入效率/公平/可持续/和平四项社会指标作为 dense feedback,可以打破"反馈混叠"问题,在 Cleanup 游戏中实现高达 54% 的效率提升。
- Beyond the Proxy: Trajectory-Distilled Guidance for Offline GFlowNet Training
-
提出 TD-GFN,一种无需代理奖励模型的离线 GFlowNet 训练框架,通过逆强化学习从离线轨迹中提取边级奖励,再经 DAG 剪枝与优先反向采样间接指导策略学习,同时保证梯度更新仅依赖真实终端奖励,在分子设计和序列生成等任务上显著超越现有基线。
- Bilevel Optimization over Saddle Points of Zero-Sum Markov Games
-
提出 PANDA 算法,通过基于 Nikaido-Isoda 函数的惩罚重构,用纯一阶策略梯度方法求解下层为正则化零和马尔可夫博弈的双层 RL 问题,达到 \(\tilde{O}(\epsilon^{-1})\) 迭代复杂度和 \(\tilde{O}(\epsilon^{-3})\) 样本复杂度,匹配单策略下层 BRL 的最优已知速率。
- Break the Block: Dynamic-size Reasoning Blocks for Diffusion Large Language Models via Monotonic Entropy Descent with Reinforcement Learning
-
针对扩散语言模型 (dLLM) 半自回归生成时"块大小固定"破坏推理逻辑链的问题,本文提出 b1:用 RL 学一个块结束指示 token 来生成动态长度块,并用一个"块级熵单调下降 (Monotonic Entropy Descent, MED) 奖励"驱动连贯推理,作为即插即用的奖励项接入现有 dLLM RL 框架(Diffu-GRPO/GDPO/d1/wd1),在 Countdown 上将 wd1 从 39.45 推到 58.98。
- CAMEL: Confidence-Gated Reflection for Reward Modeling
-
本文观察到 verdict token 的 log-probability margin 与判断正确率高度相关,据此提出 CAMEL —— 先用单 token 快速给出偏好判断,仅在低置信度时才触发反思生成,并用反事实前缀增强 GRPO 训练自我纠错能力,在三个奖励模型 benchmark 上以 14B 参数取得 82.9% 的平均准确率(超过此前最佳 70B 模型 3.2%)。
- Can Large Language Models Generalize Procedures Across Representations?
-
本文发现 LLM 在符号表征(代码/图)上学到的过程知识无法可靠迁移到自然语言任务,提出"先符号后自然语言"的两阶段 RL 课程学习策略,使 1.5B Qwen 模型在异步规划任务上接近 zero-shot GPT-4o,并从认知科学角度证明成功的跨表征泛化可被解释为生成类比。
🤖 机器人/具身智能 (42)¶
- Contrastive Representation Regularization for Vision-Language-Action Models
-
作者发现 VLA 模型里继承自 VLM 的表征被视觉外观主导、对机器人本体状态不敏感,提出 Robot State-aware Contrastive Loss(RS-CL)把本体感受状态之间的欧氏距离当作"软对比标签"重塑表征,并配合"view cutoff"的表征级增广,把 GR00T N1.5 在 RoboCasa-Kitchen 推到 69.7% SOTA,在真实 Franka 拾放任务上把成功率从 45.0% 抬到 58.3%。
- Decompose and Recompose: Reasoning New Skills from Existing Abilities for Cross-Task Robotic Manipulation
-
针对"训练任务到全新任务"的零样本机器人操作,作者把 demo 拆成"原子技能-动作对"作为中间表示,再用 dual-library(动态库按视觉/计划相似度检索 + 静态库按 IDF 加权补全缺失技能 token)给 LLM 提供 skill-comprehensive in-context demonstrations,从而把"模仿轨迹"升级为"组合技能推理"。
- Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies
-
本文把 VLA 的动作解码从自回归(AR)或外挂连续扩散头改成"在统一 Transformer 内部对离散动作 token 做掩码扩散",配合按置信度自适应排序的并行解码和二次重掩码纠错,在 LIBERO 上达到 96.4% 平均成功率、SimplerEnv-Fractal 64.1% 总均分,且在 OOD 语言/视觉扰动下退化仅 0.8% / 20.4%,显著优于连续扩散和并行解码 baseline,同时保留了预训练 VLM 的多模态先验。
- BEAR: Dissecting Embodied Abilities in Multimodal Language Models through Skill-level Evaluation and Diagnosis
-
BEAR 把具身任务拆成 14 个原子技能、构建 4,469 道图-视频-文交错的 VQA,对 20 个 MLLM 做技能级横纵向诊断,发现感知能力(而非推理)是真正瓶颈,并据此用 GroundingDINO、3D 场景图、轨迹可视化等外部视觉/空间工具拼出 BEAR-Agent,让 GPT-5 在该基准上相对提升 17.5%、在真实机器人抓取上提升 20.17%。
- Dive into the Scene: Breaking the Perceptual Bottleneck in Vision-Language Decision Making via Focus Plan Generation
-
SceneDiver 通过"先建场景图做粗粒度子场景分解、再让 VLM 以智能体方式逐子场景验证"的两阶段焦点规划,把任务相关物体过滤出来再喂回 VLM 做决策,并用 Slot Attention 适配器把这套显式推理蒸馏进 VLA,从而同时缓解高层规划与反应式控制中的视觉幻觉。
- DLO-Lab: Benchmarking Deformable Linear Object Manipulations with Differentiable Physics
-
DLO-Lab 在 Genesis 平台上用 Taichi 自研了一套以离散弹性杆(DER)为内核、支持双向耦合 + 弯曲塑性 + 闭环拓扑的可微仿真器,配套 10 个 rope/cable/橡皮筋 benchmark 任务和一个用 VLM 做"抓点提议 + 任务分解"的专门 agent,把 PPO/SAC/SHAC/SAPO/CMA-ES/GD 各路策略学习算法摆到统一擂台上 PK,并通过系统辨识做了真机 sim-to-real 验证。
- Drift is a Sampling Error: SNR-Aware Power Distributions for Long-Horizon Robotic Planning
-
本文提出 CAPS:把"指令漂移"重新解释为系统性采样误差,用 SNR(=\(\log|\mathcal{A}|-\mathcal{H}\))作为元认知开关,仅在高熵"Pivotal Window"触发基于幂分布 \(\pi\propto p^\alpha\) 的 Metropolis-Hastings 迭代精修,在 RoboTwin、Simpler-WindowX、Libero-long 上 training-free 超越 OpenVLA 和 TACO。
- Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model
-
DUST 用一套"分流式"多模态扩散 Transformer(MMDiT)把动作流与未来视觉嵌入流并排走,靠共享 attention 做跨模态融合,再配独立噪声调度和动作-视觉异步采样,让 VLA 同时学会"做什么动作"和"动作会产生什么后果",在 RoboCasa / GR-1 / Franka 真机上稳定刷过 GR00T-N1.5+FLARE。
- Dual Advantage Fields
-
本文观察到双线性目标条件价值模型 \(V_\theta(s,g)=\psi_\theta(s)^\top\phi_\theta(g)\) 中,目标嵌入 \(\phi_\theta(g)\) 恰好就是价值场对状态嵌入的梯度方向,于是用一个 "动作特征位移预测器" \(u_\xi(s,a)\approx\gamma\psi(s')-\psi(s)\) 与目标嵌入做内积,得到一个免学习 Q 网络的局部优势分数,在 OGBench 长程导航 + 操控 + 谜题任务上把 RLiable 聚合指标全面拉高。
- Dual Quaternion SE(3) Synchronization with Recovery Guarantees
-
本文用单位对偶四元数(UDQ)替代 \(4\times4\) 矩阵来参数化 SE(3) 同步问题,先用 Hermitian 对偶四元数矩阵的幂迭代算出谱初始化,再用每步逐元投影到 \(\mathrm{UDQ}^n\) 的广义幂法(DQGPM)做迭代精化,首次给出 SE(3) 同步的有限步线性收敛与显式误差界,并在多扫描点云配准上把旋转/平移误差和算法时间都打到了矩阵方法之下。
🎁 推荐系统 (11)¶
- A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving
-
本文把 LLM serving 中的 batch 条件当作安全评测的处理变量,提出安全提示与能力控制成对比较、人工/打分器校正、跨模型扩展、连续批处理组合和 batch-invariant kernel 消融组成的测试协议,结论是拒绝翻转真实存在但低频、模型特异且依赖具体服务栈。
- Can Recommender Systems Teach Themselves? A Recursive Self-Improving Framework with Fidelity Control
-
RSIR 让序列推荐模型用自身预测能力生成新的合成用户交互序列、再训练一个新模型,并用基于排名的"保真度检查"过滤掉偏离用户偏好流形的样本,防止 self-consuming model collapse;在 4 个数据集 × 3 个主流 backbone 上稳定提升 NDCG/Recall 4–11%,并理论上证明该过程等价于沿用户偏好流形切空间的隐式正则化。
- GCIB: Graph Contrastive Information Bottleneck for Multi-Behavior Recommendation
-
GCIB 用"图信息瓶颈 + 跨行为对比学习"双管齐下,先在结构层把辅助行为图里与目标任务无关的边剪掉(最大化与目标行为的互信息、用 HSIC 替代项最小化与原始辅助图的互信息),再在特征层把去噪后的辅助表示和稀疏的目标表示做 InfoNCE 对齐,从而在四个多行为推荐基准上把 HR@10 / NDCG@10 相对最佳 baseline 再推高 7%–40%。
- Incentivized Exploration with Stochastic Covariates: A Two-Stage Mechanism Design for Recommender System
-
RCB 把推荐系统里的"探索-利用"和"用户激励兼容"打包成一个动态贝叶斯激励兼容(DBIC)约束下的上下文 bandit 问题,提出冷启动 + IPGS 两阶段算法,在随机用户协变量场景下证明 \(\tilde{O}(\sqrt{KdT})\) regret、可插入任意 offline learning oracle,并量化"激励价格"——冷启动样本量随 \(\epsilon\) 收紧呈 \(1/\epsilon^2\) 增长。
- Learning Design Skills as Memory Policies for Agentic Photonic Inverse Design
-
SkillPCF 把光子晶体光纤(PCF)的反向设计重塑为"记忆策略学习"问题:用 PPO 训练的控制器在每个轨迹片段从可演化技能库里挑 Top-K 个 memory 操作,执行器把它们落到轨迹记忆里,再用 MEEP 电磁仿真奖励同时优化控制器与技能库本身,在多 LLM 后端和经典优化基线上都拿到更好的设计成功率与仿真预算权衡。
- Position: Neglecting the Sustainability of AI is Fuelling a Global AI Arms Race
-
这篇 position paper 借 Karl Marx 的"基础-上层建筑"框架,主张当下"sustainable AI"的讨论被环境维度独占而忽略了经济与社会维度,呼吁同时拉高气候意识与资源意识两条轴,并提出 CARAML 五层行动框架(个人 / 社区 / 工业 / 政府 / 全球)以抑制正在升级的"全球 AI 军备竞赛"。
- Position: Stop Preaching and Start Practising Data Frugality for Responsible Development of AI
-
这篇 position paper 指出 ML 社区在"数据节俭"(data frugality)上长期"只说不做"——大家口头承认 coreset 能省能耗,却几乎没人真去汇报能耗和碳排放,并以 ImageNet-1K 为例算出下游训练 + 存储约 5.82 GWh / 2589 tCO2e 的保守下限,呼吁把数据节俭从口号变成可度量、可执行、可奖励的工程实践。
- Prompts for Public-Sector LLMs Should Be Governed as Commons
-
这是一篇 position paper:作者主张公共部门用的 LLM 提示词应当像开源 commons 一样被版本化、有出处、可审计、可否决,并用一座北美城市的 443 条社区提示词(增强到 3,317 条)跑了一个含五种治理状态的 pilot benchmark,给出可证伪的三个预测——治理化提示能改变输出分布、提升可审计性、缩短故障修复时延。
- Rethinking Contrastive Learning for Graph Collaborative Filtering: Limitations and a Simple Remedy
-
作者把 LightGCN 的前向预测打开成"多跳邻居对的可学习权重之和",发现 Sampled Softmax 损失只按物品侧邻居的结构相似度来加权、且对 UU/II/UI/IU 四类邻居对一视同仁,于是提出 NT-SSM——把用户侧结构相似度也接入梯度、并按邻居对类型分别校准加权策略,在四个数据集和多种 GCF 主干上稳定优于 SSM。
- RGMem: Renormalization Group-Inspired Memory Evolution for Language Agents
-
RGMem 借统计物理里的重整化群思想,把语言 agent 的长期对话记忆建模成"事件层 → 关系层 → 概念层"的多尺度系统,通过阈值触发的非线性算子把零散对话粗粒化成稳定的用户画像,从而打破"稳定 vs 可塑"权衡。
🚗 自动驾驶 (6)¶
- Constrained Multi-Objective Reinforcement Learning with Max-Min Criterion
-
本文把"max-min 多目标公平性"和"硬性约束满足"统一到同一个 MORL 框架中——通过占用测度 (occupancy measure) 重新表述为凸规划,再对偶出一个关于权重 \((u,w)\) 的凸优化问题,从而用一套投影梯度下降算法同时实现公平性和约束可行性,并给出几何收敛速率的理论保证。
- DeepSight: Long-Horizon World Modeling via Latent States Prediction for End-to-End Autonomous Driving
-
DeepSight 把"未来世界预测"从显式像素重建(codebook 单帧)换成在 BEV 空间对 DINOv3 语义特征做多帧并行隐式预测,再叠加一个按需触发的 Adaptive Chain-of-Thought,让 Qwen2.5-VL-3B 在 Bench2Drive 闭环上 Driving Score 86.23 (+7.39)、Success Rate 71.36% (+13.63),且只多 ~4% 推理延迟。
- Mitigating Error Accumulation in Continuous Navigation via Memory-Augmented Kalman Filtering
-
把无人机连续 VLN 的 step-by-step 预测重写成"递归贝叶斯估计 = GRU 先验 + 记忆库似然 + 可学习卡尔曼增益"的闭环, 在 TravelUAV 上仅用 10% 数据微调就把 L1-Full 的 SR 从 17.6% 推到 25.9%, 同时把 100 步后还在不断累积的位置漂移压平到 30–40 米。
- Plug-and-Play Label Map Diffusion for Universal Goal-Oriented Navigation
-
本文提出 PLMD:把 BEV 语义图与障碍图合并成 Label Map,用 DDPM 在障碍先验调制下补全未探索区域的语义+障碍标签,作为即插即用模块挂在任意 GON 策略上,在 ON / IIN / MRON 三类任务的 HM3D/MP3D 上一致刷新 SOTA。
- Threshold-Based Exclusive Batching for LLM Inference
-
本文系统刻画了 LLM 推理中 mixed batching (MB) 与 exclusive batching (EB) 的性能交叉条件,证明带宽受限 GPU 上 prefill–decode 同批会因带宽争抢拖慢 Attention,进而推导出基于 hazard rate 的最优相位切换阈值 \(\theta^*\) 和内存安全的批大小,并设计在线自适应调度器 EB+,在带宽受限硬件上吞吐最多提升 41.9%,非平稳流量下相对 MB 最多提升 36.4%。
- TSRBench: A Comprehensive Multi-task Multi-modal Time Series Reasoning Benchmark for Generalist Models
-
TSRBench 构造了一个覆盖 14 个领域、4 大维度(感知/推理/预测/决策)、15 个任务、4125 道题、同时支持文本/可视化/文本+图/嵌入四种模态输入的时间序列推理基准,系统评测 30+ 主流 LLM、VLM 与 TSLLM,揭示出"scaling 在感知/推理上仍成立但在预测上失效"以及"文本与可视化模态高度互补但当前模型几乎无法融合"等关键结论。
📦 模型压缩 (100)¶
- A Language-Guided Bayesian Optimization for Efficient LoRA Hyperparameter Search
-
本文把 LoRA 超参数配置写成带领域解释的文本,让冻结 LLM、可学习 token 和投影层共同构造 BO 的连续搜索空间,再用 10% 数据代理评估降低每次试验成本,在 30 次左右搜索内显著优于默认 LoRA 配置和常规 HPO 方法。
- A Queueing-Theoretic Framework for Stability Analysis of LLM Inference with KV Cache Memory Constraints
-
本文建立首个显式纳入 KV 缓存显存动态的 LLM 推理排队模型,给出闭形稳定性条件 \(\lambda < \mu(1-\delta)\),使运维人员可直接计算所需 GPU 数;在单 GPU、8 GPU 集群与 LongBench 真实数据上验证误差均 \(\leq 10\%\)。
- Active Budget Allocation for Efficient Scaling Law Estimation via Surrogate-Guided Pruning
-
本文把 scaling law 实验中的训练预算分配建模为多轮资源选择问题,用 Successive Halving 结合学习曲线 surrogate 预测未来潜力,在 synthetic 和 nanoGPT 学习曲线上以最高 98.7% 的训练成本节省近似完整 scaling law。
- Active Tabular Augmentation via Policy-Guided Diffusion Inpainting
-
本文形式化了表格增强中的"保真度-效用间隙"问题(生成器优化分布匹配,而增强价值源于低密度区域),提出 TAP 算法通过扩散填补做流形约束提议、策略引导的效用对齐选择、硬约束门控加保守窗口提交,在 7 个真实表格数据集上相比基线最多提升分类精度 15.6%、回归 RMSE 降低 32%。
- Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation
-
这篇论文指出 GRPO 在二值可验证奖励下会因为组内奖励全同而失去梯度信号,提出 ACR 指标实时诊断这种“优势坍塌”,并用 AVSPO 注入虚拟奖励样本恢复组内方差,从而在多个 Qwen2.5 数学推理模型上稳定提升 4-6 个百分点。
- An Algebraic View of the Expressivity of Recurrent Language Models
-
这篇论文把 RNN/SSM 的形式语言表达能力统一为一个代数问题:在固定数值语义后,模型能识别的语言由其层级转移幺半群及其 wreath product 决定,并且同一架构在浮点与无符号整数语义下会得到完全不同的计数能力。
- ArcVQ-VAE: A Spherical Vector Quantization Framework with ArcCosine Additive Margin
-
作者诊断出 VQ-VAE 的码本坍塌根源是"码本向量 ℓ2 范数失衡 + 几何聚集",于是提出 SAMP:Ball-Bounded Norm Regularization 把所有码本向量约束在时变 Euclidean 球内、ArcCosine Additive Margin Loss 借鉴 ArcFace 在球面上推开 latent 向量,从而让码本均匀分散、利用率大幅上升,在 ImageNet 重建和生成 FID 上都击败主流 VQ-VAE 变体。
- AREA: Attribute Extraction and Aggregation for CLIP-Based Class-Incremental Learning
-
这篇论文把 CLIP 类增量学习中的遗忘拆成“属性抽取漂移”和“属性聚合漂移”,提出 Area 用 PGA 在超球面上固定视觉/文本属性锚点,再用轻量任务专家、VIB 正则和 OT 路由稳定属性聚合,从而在九个 CLIP-CIL benchmark 上显著提升平均精度和最终精度。
- Auditing and Fixing Economic Validity in Tabular Foundation Models for Discrete Choice
-
本文发现TabPFN和Mitra等表格基础模型在离散选择任务中虽然准确率高,却会违反价格-需求单调性和值得信任的时间价值估计,因此提出两阶段行为适配器,把TFM预测嵌入受经济理论约束的效用模型中,在保持100%行为有效性的同时回收大部分准确率收益。
- Beyond Temperature: Hyperfitting as a Late-Stage Geometric Expansion
-
本文通过控制实验证明 Hyperfitting(在小数据集上将 LLM 训练到近零损失)的本质不是温度缩放式的分布锐化,而是一种动态的、上下文相关的 token 秩重排序(Rank Reordering)机制,该机制集中发生在 Transformer 最后一层的"终端几何扩展"(\(\Delta \text{Dim} \approx +80.8\)),并据此提出仅微调最后 5 层的 Late-Stage LoRA,在减少约 80% 可训练参数的同时保持生成多样性。
🔬 可解释性 (71)¶
- A Behavioural and Representational Evaluation of Goal-Directedness in Language Model Agents
-
这篇论文提出一种把行为评估和内部表示探针结合起来的 LLM Agent 目标导向性评估框架,并在 GPT-OSS-20B 的网格导航任务中发现:行为上它大体按目标行动,内部也编码了粗粒度空间地图和短期计划,但会被无功能的目标状物体诱导。
- A Deep Learning Model of Mental Rotation Informed by Interactive VR Experiments
-
这篇论文用 VR 交互实验约束模型设计,提出一个由 3D 等变空间编码器、神经符号对象编码器和动作决策 MLP 组成的心理旋转模型,在准确率、动作次数和部分反应时趋势上复现了人类 mental rotation 行为。
- Accurate Evaluation of Quickest Changepoint Detectors via Non-parametric Survival Analysis
-
本文把在线最快变点检测中的 ARL/ADD 评估改写成右删失生存分析问题,用 Kaplan-Meier 曲线估计有限且不规则长度序列下的检测时间和检测延迟,从而比传统只统计已触发样本的估计器更稳健、更少偏。
- Adaptive Querying with AI Persona Priors
-
作者把"LLM 在 persona 条件下产生的回答分布"打包成一个有限混合的贝叶斯先验,让用户在仅被问几道题的情况下,通过对 persona 后验做闭式更新来高效预测其他回答,性能上压过经典 CAT/IRT 基线。
- All Circuits Lead to Rome: Rethinking Functional Anisotropy in Circuit and Sheaf Discovery for LLMs
-
这篇论文用 Overlap-Aware Sheaf Repulsion (OASR) 算法系统性地证伪了机理可解释性领域的隐含假设——"一个 LLM 能力对应一个独特的电路"——发现同一任务可被多个几乎不重叠 (IoU ~4–11%) 但都满足 faithful/sparse/complete 的电路或 sheaf 支撑,并给出"分布式稠密电路假设"作为理论解释。
- Beyond Additive Decompositions: Interpretability Through Separability
-
提出张量分离学习(TSL),一种将条件均值建模为正秩-1可分离乘积之差的逐阶段贪心回归方法,通过可分离结构避免加性分解在强交互下的信号抵消与交互遮蔽问题,同时其偏依赖函数可精确恢复拟合因子形状。
- BLOCK-EM: Preventing Emergent Misalignment via Latent Blocking
-
BLOCK-EM 用 SAE 找到一小撮"因果地控制 emergent misalignment"的内部 latent,然后在窄域 SFT 时加一个 one-sided 正则,禁止模型把这些 latent 朝"失对齐方向"放大——在 6 个 fine-tuning 域上把 emergent misalignment 平均砍掉 93%,同时几乎不损伤 in-domain 任务表现。
- Breaking the Simplification Bottleneck in Amortized Neural Symbolic Regression
-
提出 SimpliPy(基于规则的化简引擎,比 SymPy 快 100 倍)和 Flash-ANSR(基于 Transformer 的摊销符号回归框架),在 FastSRB 基准上以 ~58% 的恢复率匹敌甚至超越遗传编程方法 PySR,同时随推理预算增加生成更简洁的表达式。
- Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions
-
本文揭示 LLM 在多选题上普遍存在"知识-预测差距"——隐藏层已线性编码正确答案但最终预测却偏离,通过几何分析将该差距归因于知识子空间与预测子空间的错位,并提出 KAPPA 方法在推理时用闭式仿射变换对齐两个子空间,跨模型跨基准一致缩小差距并提升准确率。
- CB-SLICE: Concept-Based Interpretable Error Slice Discovery
-
CB-SLICE 利用概念瓶颈模型(CBM)的概念预测空间来发现和解释深度学习模型的系统性错误切片,通过三步流程——错误倾向概念筛选、GMM 聚类形成切片、关键词概念解释——在多个基准上一致性超越现有方法,同时提供直接扎根于模型内部决策逻辑的忠实解释。
📐 优化/理论 (64)¶
- A General Framework for Dynamic Consistent Submodular Maximization
-
这篇论文给出了 fully dynamic 子模最大化的一般一致性框架,在允许插入和删除的流式环境中,首次为 cardinality 与 matroid 约束同时实现常数近似和次线性级别的 worst-case 每步解变动。
- Accelerated Multiple Wasserstein Gradient Flows for Multi-objective Distributional Optimization
-
这篇论文把 Multiple Wasserstein Gradient Descent 推广为连续时间梯度流,并引入 Nesterov 风格的动量加速,得到 A-MWGraD,在理论上把 geodesically convex 场景的收敛率从 \(O(1/t)\) 提升到 \(O(1/t^2)\),实验上也让多目标采样和贝叶斯多任务学习更快收敛。
- Adaptive Estimation and Inference in Semi-parametric Heterogeneous Clustered Multitask Learning via Neyman Orthogonality
-
本文桥接双重机器学习与聚类多任务学习,提出自适应框架结合 Neyman 正交性与数据驱动的配对融合罚项,在异质(可能无限维)噪声的半参数设置中精确恢复任务潜在聚类、以汇总率达到预言水平,并建立渐近正态性,实现有效统计推断。
- Adaptive Preconditioners Trigger Loss Spikes in Adam
-
这篇论文把 Adam 训练中的 loss spike 归因于二阶矩预条件器与当前梯度平方的滞后解耦,并用预条件 Hessian 的梯度方向曲率解释和预测 spike 的发生。
- Adaptive Sharpness-Aware Minimization with a Polyak-type Step size: A Theory-Grounded Scheduler
-
这篇论文把 Polyak step size 推广到 USAM/SAM,给出不依赖手工学习率调参的 sharpness-aware scheduler,并在凸优化理论和 CIFAR 实验中验证其稳定性与性能。
- Asymmetric Perturbation in Solving Bilinear Saddle-Point Optimization
-
这篇论文证明只扰动双线性零和博弈中一方的 payoff,就能在足够小扰动下保持原始均衡不变,并据此构造 AsymP-GDA,在理论上获得线性 last-iterate 收敛,在普通型和扩展型博弈实验中比对称扰动更快、更准地逼近原始均衡。
- Automatic Unsupervised Ensemble Outlier Model Selection–Extended Version
-
提出 MetaEns 框架,通过元学习预测候选检测器的边际集成增益,结合多样性折扣和算法族风险正则化的代理目标函数,在无标签条件下自适应地贪心构建紧凑高质量的异常检测集成模型。
- Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence
-
本文揭示了 LoRA 的过参数化导致不同低秩因子对 \((A,B)\) 具有不同条件数,证明了平衡最小值点(\(A^\top A = BB^\top\))具有最优条件数,并据此提出 BaLoRA——在每步优化后将适配器投影到平衡流形上,以几乎零开销加速收敛并提升微调性能。
- Balancing Learning Rates Across Layers: Exact Two-Step Dynamics and Optimal Scaling in Linear Neural Networks
-
本文在两层和三层线性神经网络中推导出梯度下降一步和两步后测试损失的精确闭式表达式,揭示了一个相变现象:第一步更新时非对称学习率最优,而第二步后对称(平衡)学习率变为局部最优,为逐层学习率调度提供了理论基础。
- Bayesian Gated Non-Negative Contrastive Learning
-
针对非负对比学习(NCL)中共享背景特征导致的优化冲突(梯度振荡),提出 BayesNCL,通过贝叶斯门控头为每个特征维度学习 Bernoulli 分布来动态过滤高频公共特征,在 ImageNet-100 上语义一致性提升 142.1% 且不牺牲下游准确率。
📈 时间序列 (32)¶
- Adaptive Time Series Reasoning via Segment Selection
-
这篇论文提出 ARTIST,把时间序列问答变成“边推理边选择片段”的序贯决策问题,通过 controller-reasoner 架构和层级自博弈 RL,让模型只读取与问题相关的时间片段并提升推理准确率。
- AnomSeer: Reinforcing Multimodal LLMs to Reason for Time-Series Anomaly Detection
-
AnomSeer 将经典时间序列异常检测的统计证据写成专家推理轨迹,并用 TimerPO 强化多模态大模型,使其在折线图输入上同时完成异常类型判断、区间定位和细粒度解释。
- Beyond Extrapolation: Knowledge Utilization Paradigm with Bidirectional Inspiration for Time Series Forecasting
-
提出 KUP-BI 框架,从训练集中构建"后目标延续"知识库,通过比率式变换检索相似历史轨迹的延续模式,生成延续风格辅助流并与主干网络特征门控融合,在 6 个数据集、4 种骨干架构上一致提升长时预测性能。
- CombinationTS: A Modular Framework for Understanding Time-Series Forecasting Models
-
CombinationTS 把时序预测模型解耦为 Input Transformation / Embedding / Encoder / Decoder / Output Transformation 五个正交模块,在共享的"评估条件空间"上做配对蒙特卡洛采样,用边际性能 \(\mu\) 和稳定性 \(\sigma\) 取代脆弱的单点 MSE,结论是:一旦数据视图(Embedding)设计得好,参数无关的 Identity Encoder 就能打平甚至超过复杂 Transformer,时序预测领域的"SOTA 增益"很大程度上来自看数据的方式而不是建模能力。
- DAG: A Dual Correlation Network for Time Series Forecasting with Exogenous Variables
-
针对"未来协变量已知"的时间序列预测 (TSF-X), DAG 设计了一个双通路网络: 一条沿时间维捕获"历史外生→未来外生"的注意力模式并注入到"历史内生→未来内生"的预测里, 另一条沿通道维捕获"历史外生→历史内生"的模式并注入到"未来外生→未来内生"的预测里, 在 12 个公开/新发布 TSF-X 数据集上 10/10 拿下 MSE 最佳, 显著超过 TimeXer、TFT、TiDE、CrossLinear、PatchTST 等。
- DistMatch: Adaptive Binning via Distribution Matching for Robust Sequential Conformal
-
DistMatch 提出基于 KS 统计量的递归分箱方法——通过将残差分组到近似可交换的叶子节点中摒弃权重重新分配,在分布漂移下提供有效的保形预测间隔;5 个数据集上均实现最小的区间宽度,同时保持有效覆盖率。
- Divide and Contrast: Learning Robust Temporal Features Without Augmentation
-
Di-COT 通过随机划分序列为重叠子块并对其进行对比学习——在不使用数据增强的情况下高效学习鲁棒的时间序列表示,相比现有方法速度快 2.5 倍、精度更高;6 大规模数据集 + 124 UCR + 28 UEA 上全面验证。
- Doubly Outlier-Robust Online Infinite Hidden Markov Model
-
本文提出 BR-iHMM:把"鲁棒观测更新(WoLF)"与"批量化状态推断(degenerate sticky HDP prior)"结合起来,给在线无限隐马模型同时在观测空间和状态空间提供有界的 Posterior Influence Function(PIF),在金融订单簿、电力负荷、合成回归三类含异常值的流式数据上把一步预测 RMSE 最多降低 67%。
- Dynamic-TMoE: A Drift-Aware Dynamic Mixture of Experts Framework for Non-Stationary Time Series
-
通过 MMD 检测分布漂移并动态扩展异构专家池,结合时间记忆路由器保证选择一致性,Dynamic-TMoE 在九个时间序列基准上达到新的 SOTA——相比所有基线平均降低 MSE 10.4%、MAE 7.8%。
- Ellipsoidal Time Series Forecasting
-
Fern 把长期时间序列预测重新表述为「从固定高斯源到数据相关椭球的最优传输」,借助 Brenier 定理把搜索空间限制在 SPD(对称正半定)类 Jacobian 上,用 Householder 反射的低秩谱分解把代价从 \(O(n^3)\) 压到 \(O(Rn)\),并在非平稳冲击场景下相对 DLinear / Koopa 等基线取得最多 790× 的稳定性提升。
🕸️ 图学习 (31)¶
- Aitchison Embeddings for Learning Compositional Graph Representations
-
本文提出 AICoG,将节点表示为 simplex 上的潜在原型混合,并用 Aitchison 几何与 ILR 等距坐标学习图嵌入,在保持与欧氏 latent distance model 同等表达力的同时,让节点角色相似性具有基于相对比例 trade-off 的内生解释。
- An Approximation Algorithm for Graph Label Selection
-
这篇论文首次在不放宽标注预算的设定下,为 Graph Label Selection 给出 \(\tilde{O}(\log^{1.5} n)\) 近似算法,并通过树割稀疏化、流判定和树上动态规划把原本全局耦合的选点问题变成可求解的组合优化流程。
- Anchor-guided Hypergraph Condensation with Dual-level Discrimination
-
AHGCDD 把超图凝聚 (HGC) 从"先训练结构生成器、再匹配训练轨迹"的解耦范式重写为端到端框架:用 Heat-Kernel-PageRank 把结构信息塞进初始化特征、用 anchor-guided 思路按特征距离合成稀疏可学的超边,再用粗+细双级判别损失 (类原型 MMD + 实例级对比) 代替昂贵的 HNN 重训练,在 5 个超图基准上 ≥SOTA 同时最高 144× 加速。
- Are Common Substructures Transferable? Riemannian Graph Foundation Model with Neural Vector Bundles
-
这篇论文把图预训练中的“可迁移公共子结构”重新定义为表示空间中的行为不变性,并用神经向量丛、门控几何展平和 Dirichlet 损失构建 Gauge,使图模型在跨域少样本迁移、零样本链路预测和图同构任务上获得更强的结构泛化能力。
- Beyond Model Base Retrieval: Weaving Knowledge to Master Fine-grained Neural Network Design
-
提出 M-DESIGN 框架,将神经网络设计建模为检索增强的迭代修改过程,通过构建修改-增益图编码细粒度架构编辑效果,并利用贝叶斯动态任务相似度在线校准迁移信号,在 33 个 GNN 任务中的 26 个达到设计空间最优。
- Deep Neural Sheaf Diffusion
-
本文指出 Neural Sheaf Diffusion (NSD) 在深层会因 sheaf Laplacian 的"分歧信号"随扩散收敛而消失,从而失去理论上保证的抗坍缩能力;DNSD 用 sheaf 邻接算子替代 Laplacian,并配合 LayerNorm、奇函数激活与逐 stalk 门控,使 sheaf 架构第一次能稳定堆叠到 16 层,在合成长程任务上比 GNN/NSD 基线最多提升 30 pp,在真实异质图基准上也一致领先。
- DTKG: Dual-Track Knowledge Graph-Verified Reasoning Framework for Multi-Hop QA
-
DTKG 把多跳问答按"并行事实核验 vs 链式推理"二分,先用 few-shot 分类器把问题路由到合适的分支,并行分支用 KG 三元组核验原子事实,链式分支在 Wikidata 上做 DFS 路径扩展+评分剪枝,外加一套"任务感知"去噪,在 6 个数据集上比 KGR / ToG 等单策略 baseline 提升 5%–29.5%。
- Finding the Minimal Parameter Budget for Implicit Reasoning: A Data Complexity Driven Scaling Law for Language Models
-
本文从知识图谱补全任务出发,证明并测量了"隐式推理所需的最小参数量"满足一条以图搜索熵为复杂度度量的线性 scaling law,每个参数最多支持约 \(0.008\) bit 推理信息,颠覆了"模型越大推理越强"的朴素直觉。
- Fixed Aggregation Features Can Rival GNNs
-
本文提出 Fixed Aggregation Features (FAF):把多跳邻域用 mean/sum/max/min/std 等不可训练的聚合算子压成表格特征再喂给 MLP,在 14 个节点分类基准中有 12 个能与精调过的 GCN/GAT/GraphSAGE 乃至 Graph Transformer 打平甚至超越,从而对"GNN 的可训练邻域聚合到底有多必要"提出系统性质疑。
- Full-Spectrum Graph Neural Network: Expressive and Scalable
-
本文把经典谱 GNN 的单变量特征值滤波器 \(g(\lambda_i)\) 推广为双变量滤波器 \(g(\lambda_i,\lambda_j)\),把信号从节点域抬到节点对域,理论上能逼近 Local 2-GNN(超越 1-WL),并通过低秩张量分解避开 \(n^2\times n^2\) 显式计算,在异质图节点分类和子结构计数上拿到强结果。
🔄 自监督/表示学习 (24)¶
- A Refined Generalization Analysis for Extreme Multi-class Supervised Contrastive Representation Learning
-
本文改进了监督对比学习(在有限标注数据池中构造元组)的样本复杂度上界,通过两个不同的U-统计量估计器,在极值多类场景下实现从依赖最小类概率的界到仅依赖类别数或样本规模的界的突破。
- Beyond Distribution Estimation: Simplex Anchored Structural Inference Towards Universal Semi-Supervised Learning
-
本文提出 SAGE,把"估计未标注数据分布"换成"在表征空间做结构推断",用 simplex ETF 几何锚 + 高阶图传播 + 分布无关可靠性加权三件套,在极端标签稀缺且未标注分布任意的 UniSSL 设定下取得平均 8.52% 的准确率提升。
- Can Local Learning Match Self-Supervised Backpropagation?
-
本文从理论上证明了在深度线性网络中局部自监督学习(local-SSL)可以精确实现全局反向传播自监督学习(BP-SSL)的梯度更新,并据此提出 CLAPP++ 算法(引入 2D 空间依赖和直接反馈),在 CIFAR-10/STL-10/Tiny ImageNet 上达到了与全局 BP-SSL 相当的性能,刷新了 local-SSL 的 SOTA。
- Data Augmentation of Contrastive Learning is Estimating Positive-incentive Noise
-
作者证明对比学习里的"预定义数据增强 (旋转/裁剪/翻转)"等价于对 Positive-incentive Noise (π-noise) 的点估计, 然后把 π-noise 从"点估计"升级为可学习分布, 训练一个 π-noise 生成器在原图上加可学噪声当增强 (PiNDA), 使 SimCLR / BYOL / SimSiam / MoCo / DINO 在 vision 上稳定涨点, 且天然适配 HAR / Reuters / Epsilon 等无人工增强的非视觉数据。
- FLAG: Foundation Model Representation with Latent Diffusion Alignment via Graph for Spatial Gene Expression Prediction
-
FLAG 把"从 H&E 病理图预测空间基因表达"重新表述为结构化分布生成问题,用一个固定的空间图编码器把组织拓扑压成条件向量,再用 DiT 在基因维度去噪,并通过基因基础模型 (GFM) 的中间层对齐注入基因-基因调控先验,从而在保持 PCC/MSE 竞争力的同时把基因结构相关性 (GSC) 和空间结构相关性 (SSC) 拉到新的高度。
- From Zero to Hero: Advancing Zero-Shot Foundation Models for Tabular Outlier Detection
-
本文提出 OutFormer —— 一个用 GMM/SCM/Copula 三类合成先验混合预训练、靠多臂老虎机自演化课程稳定多任务训练的表格 PFN,做到零样本表格异常检测:上下文 (in-context) 吃训练数据、前向一步给标签,在 ADBench 与两个新 1500+ 数据集 benchmark 上同时拿到 SOTA 排名和接近 shallow 模型的推理延迟。
- How 'Neural' is a Neural Foundation Model?
-
作者把一只"小白鼠视觉皮层的 SOTA 基础模型(FNN)"当成生理学实验对象,用解码流形 / 编码流形 / 解码轨迹三件套挨个分析它的 encoder / recurrent / readout,发现 FNN 的拟合精度主要靠 readout 那一堆同质 feature map 撑起来,而真正"像大脑"的只有 recurrent 模块;并用新提出的 tubularity 指标定量地说"早期编码层缺少生物级时间结构",给未来神经基础模型给出"早期加 recurrence、readout 减少 feature 维度"的明确建议。
- Inconsistency-Aware Minimization: Improving Generalization with Unlabeled Data
-
本文提出一种只用无标签数据就能计算的"局部不一致性" \(S_\rho(\theta)\) —— 即参数球内 KL 散度的最坏值 —— 并把它当作训练正则项,得到 IAM 优化器,在监督任务上和 SAM/ASAM 持平甚至更好,在半监督 (FixMatch) 与自监督 (SimCLR) 场景下因能吃无标签批量数据而带来额外提升。
- InfoAtlas: A Foundation Model for Zero-Shot Statistical Dependence Estimation
-
InfoAtlas 把互信息估计从"每个数据集都要从头训一个评估网络"的优化问题,改造成一个用大规模合成数据预训练好的超网络的"一次前向推理"问题,做到与 MINE/MINDE 等神经估计器相当的精度同时 100× 提速。
- Learning Graph Foundation Models on Riemannian Graph-of-Graphs
-
R-GFM 把"不同 hop 数"的子图当作上层 Graph-of-Graphs 的节点,再用一套动态 MoE 路由把每个 GoG 分配到曲率最匹配的 Riemannian 流形(双曲 / 欧氏 / 球面),同时解决了现有图基础模型固定 receptive field 与单一 Euclidean 嵌入两个先天缺陷,下游最高带来 49% 相对提升。
📐 学习理论 (17)¶
- A Perturbation Approach to Unconstrained Linear Bandits
-
本文重新审视 Abernethy 等人的扰动式 bandit linear optimization 思路,提出 PABLO 归约,把无约束线性 bandit 转成可调用任意 OLO 子程序的问题,并由此得到 comparator-adaptive 静态/动态 regret、高概率界以及若干下界讨论。
- Conditional KRR: Injecting Unpenalized Features into Kernel Methods with Applications to Kernel Thresholding
-
本文提出条件核岭回归(Conditional KRR)框架,将一组非惩罚特征注入核方法中,通过残差核将其归约为标准 KRR,证明了归约代价为 \(\mathcal{O}(1/\sqrt{N})\),并在硬阈值(top-k 本征函数)和软阈值(随机高斯特征)两种设定下验证了条件 KRR 优于标准 KRR 的充分条件。
- CORE-MTL: Rethinking Gradient Balancing via Causal Orthogonal Representations
-
作者把多任务学习里"负迁移"的根因从"梯度冲突"重新归到"共享表征里语义和噪声纠缠",提出 CORE-MTL:双流编码器把表征拆成语义 \(\hat{Z}_s\) 和残差 \(\hat{Z}_r\),用 CKA 独立性约束 + 反事实风格替换 + 反演渲染重构来落地"因果正交",理论上给出比梯度平衡更紧的 OOD 上界,实验上在 NYUv2/Cityscapes 的 ID 与 GTA5→Cityscapes、Cityscapes-C 的 OOD 设定上同时压过 PCGrad/GradNorm/STCH/FairGrad 等十种 baseline。
- Correcting Split Selection in Online Decision Trees via Anytime-Valid Inference
-
作者指出经典 Hoeffding Tree(HT)在数据流上分裂时使用的"固定样本量"集中不等式被它自己采用的"数据相关停止规则"破坏,于是用 testing-by-betting + Universal Portfolio 重写分裂判据,让单棵树和 Adaptive Random Forest 都能在任意停止时刻保持 Type-I 错误可控,同时在 12 个真实流上更准且树更小。
- Estimating Correlation Clustering Cost in Node-Arrival Stream
-
本文研究「节点到达」数据流模型下相关聚类(correlation clustering)代价的近似估计问题:作者提出 C4Approx 算法,用 \(O(n^{(3+\alpha)/4}\log n)\) 词的亚线性空间和常数遍数得到 \((O(1), n^{1-\alpha})\)-近似,并配套两个匹配下界证明多遍与加性误差都不可避免;在真实数据上仅存 2% 节点即达 Pivot 同等效果。
- Expectation Consistency Loss: Rethink Confidence Calibration under Covariate Shift
-
ECL 证明在协变量漂移下完整对齐输入分布 \(P_s(X) = P_t(X)\) 并非校准的必要条件,只要"在每个置信度水平集上 \(P(Y_k=1|X)\) 的条件期望两域一致"即可,并据此构造一个对 canonical / class-wise / top-label 三类校准都通用、可微、且 mini-batch 梯度无偏的损失 ECL。
- Matroid Algorithms Under Size-Sensitive Independence Oracles
-
作者提出「查询代价随查询集合大小线性增长」的尺寸敏感拟阵 oracle 模型,证明在该模型下找基、估计秩、估计划分数的最优查询代价都是 \(\tilde{\Theta}(n^2)\),并对有界周长 \(c\) 的拟阵给出 \(\mathcal{O}(n^{2-1/c}\log n)\) 的最大权基算法突破二次下界。
- MMD-Balls as Credal Sets: A PAC-Bayesian Framework for Epistemic Uncertainty in Test-Time Adaptation
-
论文为 test-time adaptation 提供了第一份"目标风险 ≤ 源经验风险 + KL 复杂度 + MMD 分布偏移项"的 PAC-Bayes 上界,并把 MMD-球解读为 Walley 意义下的 credal set,从而用"上下风险区间"自然分离 aleatoric 与 epistemic 不确定性,给出"何时应当 adapt、何时该 abstain"的可计算判据。
- Multi-task Linear Regression without Eigenvalue Lower Bounds: Adaptivity, Robustness and Safety
-
本文提出一种以 \(\|\theta_j-\beta\|_{\bm\Sigma_j}\)(矩阵加权范数)为正则项的鲁棒多任务线性回归估计器,用一个相对的"平衡度常数" \(B\) 取代了既往工作中刚硬的"每个任务二阶矩最小特征值 \(\Omega(1)\)"假设,在病态/低秩/带离群任务的高维场景下同时给出最小最大率(minimax)、自适应、和回退到独立任务学习(ITL)的安全保证。
- On the Learnability of Test-Time Adaptation: A Recovery Complexity Perspective
-
本文首次为测试时自适应(TTA)建立可学习性理论框架,用 \((\epsilon,\delta)\)-Recovery Complexity 衡量分布漂移后模型把超额风险压到 \(\epsilon\) 所需时间,并配合 \((\epsilon,\rho)\)-TTA Learnability 把局部恢复推广到整条非平稳测试流,导出匹配阶的 minimax 上/下界,揭示了 TTA 的"适应速度—信息约束"内在权衡。
🔗 因果推理 (15)¶
- An Odd Estimator for Shapley Values
-
这篇论文证明 Shapley value 只依赖集合函数的 odd component,并据此提出 OddSHAP:用配对采样隔离 odd 信号、用 GBT 筛选高阶 odd Fourier 交互、再做稀疏 odd 回归,在中高维解释任务上显著优于灵活预算 Shapley 估计器。
- Causal-JEPA: Learning World Models through Object-Level Latent Masking
-
提出 C-JEPA,将 JEPA 的掩码预测从图像 patch 级别扩展到对象级别潜在表示,通过对象级掩码作为潜在干预迫使模型学习交互依赖的动态,在反事实推理上比无掩码基线提升约 20%,在控制任务中仅用 1% 的 token 即达到可比性能且规划加速 8 倍以上。
- Controllable Generative Sandbox for Causal Inference
-
本文提出 CausalMix:一个变分生成框架,把数据类型特定的 multi-head decoder + Bayesian Gaussian 混合潜在 prior 与三类可独立调控的因果"旋钮"(overlap \(\alpha(X)\)、CATE 函数 \(\tau(X)\)、未观测混杂 \(\kappa(X,T)\))联合优化,从而在保持真实数据分布 fidelity 的前提下让用户自由设计 counterfactual benchmark,在 mCRPC(前列腺癌)真实病例上验证 CausalMix 既能高保真复现 mixed-type 表格,又能稳定地按需注入 overlap / confounding / 异质效应,用作 CATE 估计器的可控 stress test。
- Density-Guided Robust Counterfactual Explanations on Tabular Data under Model Multiplicity
-
DensityFlow 把"在模型多重性下生成鲁棒反事实解释 (RCE)"重新表述为带密度约束的最优传输问题,用 NCE 训练一个 (K+1) 类判别器同时学分类与类条件密度,再用 Neural ODE 把查询样本沿密度梯度运到目标类高密度流形上,并在黑盒场景下只对生成轨迹做局部蒸馏对齐,从而以远低于集成基线的查询量取得更高的跨模型 validity。
- ECSEL: Explainable Classification via Signomial Equation Learning
-
ECSEL 把"每个类别一个 signomial(带实数指数的幂律和)函数 + softmax"作为分类器,配合 L1 稀疏正则与多阶段优化,既能在 AI Feynman 等符号回归 benchmark 上以远低于 SOTA 的算力恢复 95.86% 的目标方程,又能在 11 个分类数据集上与 XGBoost/MLP 打平,同时所有特征归因都由模型参数闭式给出。
- Evaluating Bivariate Causal Statements Based on Mutual Compatibility
-
本文针对"只有成对(bivariate)因果陈述、没有 ground truth"的场景,提出两个无需 faithfulness 的相容性评分(线性情形的
comp+ 图结构情形的incomp),通过判断这些两两陈述拼起来的多元模型是否需要"反常的额外混淆"来解释观测协方差,从而识别错误的因果论断,并用它给 LLM 的因果输出打分。 - Formalizing and Falsifying Causal Pathways of Rare Events
-
本文把罕见事件的"口头因果解释"形式化为 causal pathway——一个由二值化事件构成的子图,并定义 pathway explanation score 来量化"根因 + 中介通路"对目标事件的解释力,得到一套可证伪的因果解释评价框架。
- Investigating Memory in Model-Free RL with POPGym Arcade
-
本文指出仅用回报来比较 RL 记忆模型并不可靠,作者构建了一个 GPU 加速的 MDP/POMDP "孪生"基准 POPGym Arcade,并提出 Observability Gap、Memory Bias、像素显著性和 Recall Density 四个工具,借此揭示了一种"价值涂抹(value smearing)"病理:记忆模型会把价值信用错误地分摊到无关的历史观测上,进而导致单个 OOD 观测就能通过 recurrent state 长期污染策略。
- Outcome-Aware Spectral Feature Learning for Instrumental Variable Regression
-
针对非参数工具变量(NPIV)回归中 SpecIV 学到的谱特征"只看 X-Z 关系、不看结果 Y"的盲点,本文提出 Augmented Spectral Feature Learning:在 SpecIV 的对比损失里加上一项 Y 投影到 Z 特征上的回归损失,等价于对一个把 Y 信息拼进去的"增广算子" \(\mathcal{T}_\delta = [\mathcal{T} \mid \delta r_0]\) 做截断 SVD,从而在结构函数 \(h_0\) 与 \(\mathcal{T}\) 顶端奇异函数对齐很差的"坏"情形下也能用极低秩特征恢复因果效应。
- Rank-Learner: Orthogonal Ranking of Treatment Effects
-
在观测数据上提出 Rank-Learner——第一个 Neyman-正交的两阶段处理效应排序学习器,用成对软标签 + 双重稳健修正项替代"先估 CATE 再排"的间接做法,在合成、半合成与 Criteo uplift 真实数据集上稳定优于 T/DR-learner 与非正交 plug-in ranker。
🛡️ AI 安全 (41)¶
- Active Continual Learning with Metaplastic Binary Bayesian Neural Networks
-
BiMU 为二值贝叶斯神经网络设计有界记忆和不确定性感知的 metaplastic 更新,防止 Bernoulli 后验在长程非平稳流中饱和,并用 Monte Carlo disagreement 实现无缓存的一次性主动查询,显著减少标签和反向传播更新。
- Angel or Demon: Investigating the Plasticity Interventions' Impact on Backdoor Threats in Deep Reinforcement Learning
-
作者首次系统评估 7 种主流可塑性干预 (SAM/Shrink&Perturb/Weight Clip/SN/WD/LN/ReDo) 对深度强化学习 (DRL) 后门攻击的影响 (14,664 个实验),发现只有 SAM 是"恶魔"——能显著加剧后门威胁;据此提出"Sweeper-Converter-Connector" 鲁棒后门注入框架并给出基于 loss landscape 锐度的检测信号。
- Calibrating Uncertainty for Zero-Shot Adversarial CLIP
-
提出 UCAT 框架,将 CLIP 的 logits 重新参数化为 Dirichlet 分布的浓度参数,通过对齐干净样本与对抗样本的 Dirichlet 分布(反向 KL 散度),在零样本对抗微调中同时校准不确定性和保持语义结构,在 16 个基准上实现了鲁棒性与校准的最优平衡。
- COPF: An Online Framework for Deployment-Stable Counterfactual Fairness in Evolving Graphs
-
COPF 把"演进图上的在线链路推荐"看成一个 performative 决策过程,在 backbone 打分器之外加一层 决策层 wrapper:用带显式探索的在线日志协议保证反事实可识别,用图感知双重稳健(GA-DR)估计器估计"曝光-未曝光"的反事实组间差距,再用 Residual-OI 审计 + PI primal–dual 控制器在线压制部署后出现的公平性 spike,理论上给出从插件式 OI 到真实反事实差距的 transfer 证书,在 TGB 与合成二部流上以可控的效用损失显著降低 Deploy 阶段的 worst-case TE 差距。
- Demystifying the Optimal Fair Classifier in Multi-Class Classification
-
本文给出多分类公平分类问题中 Bayes 最优分类器的解析可处理形式(带熵正则的闭式解),并据此推出一对统一的算法 OptFair:训练阶段用 reduction 转化为代价敏感交叉熵的 saddle-point 优化,部署阶段用 plug-in 估计求解凸近端梯度问题,两者在理论上都收敛到 accuracy-fairness Pareto 前沿。
- Exposing Vulnerabilities in Explanation for Time Series Classifiers via Dual-Target Adversarial Attack
-
本文提出 TSEF——一个针对"时序分类器 + 解释器"联合系统的对偶目标攻击框架:通过学习"时间脆弱掩码 + 频域扰动滤波器",在 \(\ell_\infty\) 预算内同时把模型预测推到目标标签、又把解释推到攻击者指定的参考显著图,证明现有时序可解释流水线的"解释稳定 = 决策可信"假设根本不成立。
- Extending Fair Null-Space Projections for Continuous Attributes to Kernel Methods
-
本文把 Ravfogel 等人为线性模型设计的「迭代零空间投影 (INLP)」公平化方法搬到核方法上:通过在经验特征空间 (empirical feature space) 推导一个直接作用在核矩阵 \(\mathbf{K}\) 上的闭式变换 \(\mathbf{T}\),使得变换后的 \(\mathbf{K}_{(m)}\) 仍是半正定核,但已被剥离了对连续受保护属性的预测信息,从而把任意基于核的算法(KRR、SVR)一键改造为「连续公平」版本,在 Crimes / ACSIncome / ACSTravelTime 上取得有竞争力或更优的 fairness–accuracy 帕累托。
- Fair Dataset Distillation via Cross-Group Barycenter Alignment
-
本文揭示数据集蒸馏 (DD) 会放大原始数据中的偏差——根源是「子组样本量不平衡」与「子组表征分离度」的交互作用,并提出 COBRA:用各子组表征的(与组大小无关的)barycenter 作为蒸馏目标,可在多个 DD 框架上同时降低 EOD、提高准确率。
- Fair Decisions from Calibrated Scores: Achieving Optimal Classification While Satisfying Sufficiency
-
本文针对"即使分数在各群体上完全 group-calibrated,对其取单一阈值也会违反 sufficiency(predictive parity)"这一长期被忽视的痛点,给出有限离散分数下 sufficiency 约束最优二元分类器的精确解:通过对 \((\mathrm{PPV}, \mathrm{FOR})\) 可行域的几何刻画,得到一个只依赖分数和群体标签的后处理算法,并证明该算法同时可解"损失最小化"和"在 sufficiency 下最小化与 separation 的偏差"两类目标。
- Fairness in Aggregation: Optimal Top-\(k\) and Improved Full Ranking
-
在 Spearman footrule 距离下,把 ILP 的约束矩阵证成全单模,从而给出 fair top-\(k\) 排名聚合的首个多项式时间最优算法;并以"先解 fair top-\(k\),再用最小代价完美匹配补齐成全排列"的两步策略,把 fair (full) rank aggregation 的近似比从 3 改进到 2。
🧬 计算生物 (36)¶
- Active Timepoint Selection for Learning Measure-Valued Trajectories
-
本文研究“什么时候采样一个分布快照最有价值”,用 LOT 把 Wasserstein 空间中的测度轨迹线性化,再用带时间扭曲的多输出 GP 给出 epistemic uncertainty,从而主动选择最能降低轨迹重建误差的时间点。
- CARD: Coarse-to-fine Autoregressive Modeling with Radix-based Decomposition for Transferable Free Energy Estimation
-
CARD 用"基数 \(r\) 分解"把分子 3D 坐标双射映射为先粗后细的离散-连续混合 token 序列,让一个跨系统通用的自回归 Transformer 作为"零自由能 proposal"通过 BAR 直接估算任意分子系统的绝对自由能,在 70 个新系统的溶剂化任务上达到经典 MFES 的精度且推理快约 40 倍。
- CoSiNE: 条件位点独立的抗体序列神经进化模型
-
CoSiNE 用神经网络参数化的条件位点独立连续时间马尔可夫链(CTMC)来建模抗体亲和力成熟过程,在保持可处理性的同时捕获位点间上位效应,并通过 Guided Gillespie 采样实现抗原特异性的抗体优化,在零样本变体效应预测上超越了现有语言模型和进化模型。
- Constrained Flow Optimization via Sequential Fine-Tuning for Molecular Design
-
本文针对"在满足领域硬约束(如合成可达性、能量上界)的前提下最大化奖励(如结合亲和、偶极矩)"这一关键场景,提出 CFO 算法:用增广拉格朗日把约束生成式优化拆成一串带 KL 正则的标准微调子问题,自适应地更新罚因子 \(\rho_k\) 与对偶变量 \(\lambda_k\),在合成低维场景与 FlowMol 分子设计任务上同时给出可证收敛与显著的奖励—约束 Pareto 改进。
- Cross-Chirality Generalization by Axial Vectors for Hetero-Chiral Protein-Peptide Interaction Design
-
本文提出 AFI(Axial Feature Injection),把轴向量特征以线性混合方式注入 \(E(3)\)-等变标量化模型的极向量通道,使其退化为 \(SE(3)\)-等变并对手性敏感;以此改造 UniMoMo 得到 PepMirror,仅用同手性(L-L)训练数据即可零样本生成异手性(D-L)多肽 binder,并通过湿实验在 CD38 靶点上验证为首个实验确证的 AI de novo D-肽设计框架。
- Demystifying Multimodal Biomolecular Co-design with Intrinsic Geodesic Coupling
-
作者把"序列 + 三维结构"这种异质模态的共生成问题,重新建模为时序最优传输 (Temporal Optimal Transport) 问题,用双层优化 + 高斯过程代理 (GeoCoupling) 在训练过程中自动学出非对角的时间耦合曲线(即让结构和序列以各自适合的节奏被去噪),在 SBDD 和无条件蛋白质共设计两个任务上同时打败"同步耦合"和"随机耦合"两大类基线,并意外发现一条普适的"结构先行 (structure-leading)"几何先于语义的生成规律。
- DNAChunker: Learnable Tokenization for DNA Language Models
-
DNAChunker 在掩码 DNA 语言模型中嵌入一个端到端可学习的"动态分块器",通过双向 Mamba 编码 + 余弦相似度边界预测把 base-pair 序列压成变长 chunk,并配合 mask 保护与残差门控防止信息泄露,仅用人类参考基因组、172M 参数就在五个基因组 benchmark 上全面超越 2.5B 级别的多物种预训练基线。
- EvoEGF-Mol: Evolving Exponential Geodesic Flow for Structure-based Drug Design
-
EvoEGF-Mol 把 SBDD 的连续坐标与离散原子/键类型放到同一个指数族自然参数空间里,用动态收紧的目标分布替代奇异的 Dirac 端点,沿着 Fisher-Rao 几何下的指数测地线同步演化,在 CrossDock 上把 PoseBusters 通过率推到 93.4%,逼近参考分子水平。
- Flow Sampling: Learning to Sample from Unnormalized Densities via Denoising Conditional Processes
-
本文提出 Flow Sampling,把流匹配/扩散模型从"数据驱动"反转为"噪声驱动"——以源噪声样本为条件构造去噪扩散漂移,在 interpolant 上用 detached 模型采得 \(X_1\) 的能量梯度做回归目标,从而学到无数据情况下的高效扩散采样器,并自然推广到常曲率黎曼流形。
- From Feasible to Practical: Pareto-Optimal Synthesis Planning
-
PareSP 用多目标 MCTS 搜索联合优化合成路径的成本 / 时间 / 可行性 / 环境影响——找到完整帕累托前沿而非单一"最佳"路径,在 USPTO 和 ASKCOS 基准上较单目标方法节省 23% 成本、35% 时间,同时保持 ≥ 95% 化学可行性。
⚛️ 物理/科学计算 (26)¶
- A Call to Lagrangian Action: Learning Population Mechanics from Temporal Snapshots
-
本文从最小作用原理出发,提出 Wasserstein 拉格朗日力学(WLM)框架,学习二阶人口动力学而非传统梯度流的一阶动力学,从而能够捕捉周期性、旋转等更丰富的群体现象,并可在不需要参考过程的情况下完成插值与未来预报。
- ANTIC: Adaptive Neural Temporal In-situ Compressor
-
为了把 PB-EB 级别 PDE 仿真数据"边算边压",本文提出 ANTIC:用 physics-aware 时间选择器只保留物理上重要的快照,再用神经场 + LoRA 持续微调编码相邻快照之间的残差,在 2D Kolmogorov 流上拿到 435× 压缩、在 4.2 TiB 的 3D 双黑洞合并模拟上拿到 6807× 时空联合压缩。
- BALLAST: Bayesian Active Learning with Look-ahead Amendment for Sea-drifter Trajectories under Spatio-Temporal Vector Fields
-
提出 BALLAST 算法,通过从 GP 后验中采样向量场并模拟拉格朗日观测器的未来轨迹来修正主动学习的效用估计,同时开发了 VaSE 推理方法将 GP 后验采样效率提升数千倍,在合成与高保真海洋流场上实现约 16%-22% 的部署成本节省。
- Distribution Transformers: Fast Approximate Bayesian Inference With On-The-Fly Prior Adaptation
-
Distribution Transformer (DT) 把"先验分布"显式 token 化为一组高斯混合分量、把"观测"通过交叉注意力注入解码器,端到端学一个"先验+数据 → 后验"的映射,在保持与先验同族(GMM→GMM)以支持序贯滤波的同时,把推断时间从分钟级压到毫秒级,并允许测试时任意更换先验而无需重训。
- EqGINO: Equivariant Geometry-Informed Fourier Neural Operators for 3D PDEs
-
EqGINO 把 GINO 的 GNO 编码器、FNO 主干、GNO 解码器全部改造成 SE(3) 等变模块:GNO 用相对距离作为旋转不变核、FNO 用"轨道权重共享"在频域强制 \(W(R\mathbf k)=W(\mathbf k)\) 的各向同性,从而在保留 FNO 全局感受野的同时让 3D PDE surrogate 对任意刚性变换鲁棒,且把谱权重参数量从 \(\mathcal O(K^3)\) 降到 \(\mathcal O(K)\)。
- From Generalist to Specialist Representation
-
本文给出第一个完全非参数(无 intervention、无 functional 约束)的两层 hierarchical 可识别性证明:时间-任务结构由 collider 视角下的 CI test 可识别,任务相关 latent 由 sparsity 正则可从 generalist 表示中分离出来。
- Generative Neural Operators Through Diffusion Last Layer
-
在任何神经算子骨干(FNO/DeepONet)后挂一个"扩散末层"(DLL):用一个输入相关基 \(\Phi_a\) 把目标场压成 \(r\) 维系数向量,再用一个小 MLP 速度场在系数空间做条件流匹配,从而把确定性算子升级成既能采样随机解又能给出滚动不确定性的生成式算子。
- Hermite-NGP: Gradient-Augmented Hash Encoding for Learning PDEs
-
论文把 Instant-NGP 的多分辨率哈希表升级为"梯度增强"版本——在每个哈希格点同时存储函数值与所有混合偏导,再用 Hermite 插值重建出 \(C^1\) 连续、内部解析可二阶可微的场,从而让 NGP 第一次能真正用于 PINN 求解 PDE,在 2D/3D 多个基准上比 SOTA 神经 PDE 求解器降误差最多 \(20\times\),单 epoch 训练只要 \(2\)–\(3.5\,\mathrm{ms}\)。
- Iterative Refinement Neural Operators are Learned Fixed-Point Solvers: A Principled Approach to Spectral Bias Mitigation
-
论文给已训练好的神经算子(FNO/TFNO/WDSR 等)外挂一个共享权重的 U-Net 修正模块 \(\Phi_\theta\),在推理时按 \(h_{k+1}=h_k+\alpha\Phi_\theta(x,h_k)\) 反复迭代,把单次前向的预测变成一个收敛到唯一不动点的"学习版残差求解器",在湍流、活性物质、ERA5 超分等任务上把误差降低 34%–80%,并能稳定外推到训练步数的 2 倍。
- Learning to Refine: Spectral-Decoupled Iterative Refinement Framework for Precipitation Nowcasting
-
SDIR 把雷达 0–2 小时降水临近预报重新表述为"频域解耦的迭代精化"过程:先用 SFG-Former 提取稳定的低频天气骨架,再用 FR-Refiner(含 Fourier 神经算子)按频段逐步合成高频对流细节,并用一条对齐 Kolmogorov 湍流功率律的 PCPSD 损失替代会导致过平滑的纯 MSE,在 CIKM / Shanghai / SEVIR 三个 benchmark 上同时显著超过回归类与扩散类 SOTA。
🏥 医学图像 (24)¶
- Are We Overconfident in Models and Results for Semi-Supervised 3D Medical Image Segmentation?
-
这篇论文指出半监督 3D 医学图像分割同时存在模型伪标签过度自信和评测协议过度乐观两类问题,并提出 TCSeg 用置信度-不确定性双轴可靠性和概率、特征、图像三空间校准来抑制确认偏差,同时倡导多随机种子、best/last checkpoint 同时报喜报忧的评测方式。
- Auditing Sybil: Explaining Deep Lung Cancer Risk Prediction Through Generative Interventional Attributions
-
本文提出 S(H)NAP——基于 3D 扩散桥的「移除 + 插入」生成式干预框架,把 Sybil 这一前沿肺癌风险预测模型的决策反向拆解为「肺结节主效应 + 两两交互 + 背景」的 LMPI(线性+二阶交互模型),首次以因果而非相关的方式审计出它对 ECG 电极、衣物金属扣等院内伪影的依赖以及对外周肺结节的「径向不敏感」严重失败模式。
- CASCADE Conformal Prediction: Uncertainty-Adaptive Prediction Intervals for Two-Stage Clinical Decision Support
-
提出 CASCADE 框架,将两阶段临床决策系统中第一阶段分类器的认知不确定性(通过 Venn-Abers 预测器量化)传播到第二阶段回归预测区间,使高置信患者的预测区间缩窄 38.9%,同时为不确定病例自动扩展安全缓冲,实现自适应覆盖保证。
- DGNO: Discontinuous Galerkin Neural Operator for Pathology Defocus Deblurring
-
DGNO 把病理显微图像的散焦去模糊重新表述为"空间变化积分算子"的反问题,用不连续 Galerkin 风格把全局核拆成元素局部积分算子 + 界面数值通量,既保留神经算子的物理可解释性,又能处理病理图像本质上的局部不连续模糊;在 BBBC006w1 等数据集上超越 NAFNet / Restormer / MambaIRv2 等 SOTA。
- DP-KFC: Data-Free Preconditioning for Privacy-Preserving Deep Learning
-
本文提出 DP-KFC:基于"Fisher 矩阵的标度由架构决定、相关结构可用模态级频谱统计近似"的观察,用结构化合成噪声(图像用 \(1/f^\alpha\) pink noise,文本用 Zipf 采样)探测网络重建 KFAC 预条件子,既不消耗隐私预算也不引入分布偏移,在强隐私(\(\varepsilon\le 3\))下持续超过 DP-SGD 与公共数据预条件方法。
- EEG-Based Multimodal Learning via Hyperbolic Mixture-of-Curvature Experts
-
EEG-MoCE 给 EEG-based 多模态学习(情绪/睡眠/认知)每个模态分配一个可学习曲率的 Lorentz 流形 expert,再用"曲率大→层级结构更丰富→在 fusion 中权重更高"的 curvature-aware attention 做跨模态融合,在 EAV/ISRUC/Cognitive 三个数据集上 cross-subject 准确率分别 +14.14%、+3.34%、+7.98%。
- Evidential Reasoning Advances Interpretable Real-World Disease Screening
-
EviScreen 用「正常 + 病理」双知识库做区域级证据检索,再以 cross-attention + self-attention 在当前病例和证据间做循证推理,既给出回溯式可解释性(哪几个历史病例支持当前判断)又给出定位可解释性(对比检索得到的异常图),在 4 个真实外部测试集上把高召回处的特异性提升到 SOTA。
- Factored Classifier-Free Guidance
-
本文识别出 CFG 在扩散模型反事实生成中存在「属性放大 (attribute amplification)」失效模式——单一全局 \(\omega\) 会把本不该改变的属性一起放大,并提出 FCFG:按因果图分组、为每组属性分配独立 guidance 权重,从而在 CelebA-HQ / EMBED / MIMIC-CXR 上显著降低非目标属性漂移、改善反事实可逆性。
- Federated Distillation for Whole Slide Image via Gaussian-Mixture Feature Alignment and Curriculum Integration
-
本文提出 FedHD:在异构联邦病理学场景下,用 Gaussian-mixture 特征对齐做「一对一」WSI 特征级蒸馏,再通过课程学习把跨机构合成特征逐步注入本地训练,使各机构能在不共享原始数据、不交换模型参数的前提下协作,且兼容异构 MIL 架构与特征提取器,在 TCGA-IDH / CAMELYON16 / CAMELYON17 上全面超越现有联邦与蒸馏基线。
- Foundation VAEs for 3D CT Reconstruction, Augmentation, and Generation
-
本文论证了一个反直觉但实用的发现——在自然图像/视频上预训练的 Foundation VAE 不需要任何医学微调就能作为统一接口同时支持 CT 重建、增强、生成;其重建只是去噪不偏移边界,因此重建图既可做去噪增强(pancreatic / lung tumor NSD +3.9%),其潜空间又可承载 CT 条件扩散生成(FVD −3.9%,CT-CLIP +36.2%,多疾病忠实度 AUC +2.76%)。
👥 社会计算 (8)¶
- Alignment Tampering: How Reinforcement Learning from Human Feedback Is Exploited to Optimize Misaligned Biases
-
这篇论文提出 alignment tampering:当待对齐模型生成“高质量但带偏见”和“低质量但无偏见”的响应时,RLHF 的成对偏好标签会把质量与偏见混在一起,导致奖励模型、PPO/DPO 和 Best-of-N 采样进一步放大原本不想要的偏见。
- FLIPS: Instance-Fingerprinting for LLMs via Pseudo-Random Sequences
-
FLIPS 通过设计伪随机种子序列(仅模型所有者知晓种子)来生成模型独特"指纹响应"——攻击者即便微调或剪枝模型也无法消除指纹,黑盒查询场景下检测率 > 99%、误报率 < 1%。
- IDO: Incongruity-Aware Distribution Optimization for Multimodal Fake News Detection
-
IDO 通过显式建模模态间不一致性作为可学习的分布优化目标——同时拉近真新闻的多模态嵌入并扩大假新闻的不一致,在 Weibo / Twitter / Fakeddit 上 F1 较 SOTA 提升 3-7%、对未见过的假新闻泛化能力显著提升。
- MIND: Multi-Rationale Integrated Discriminative Reasoning Framework for Multi-Modal Fake News
-
MIND 通过多视角理由生成 + 跨理由判别推理为假新闻检测提供可解释 + 鲁棒的判别框架——同时利用 LLM 生成的事实核查、模态一致性、语义合理性 3 类理由,在 Weibo / Twitter / Fakeddit 上 F1 较 SOTA 提升 4-8%。
- ObjEmbed: Towards Universal Multimodal Object Embeddings
-
ObjEmbed 训练一个通用的对象嵌入模型——通过结合检测、分割、检索、描述、分类等任务对齐多模态对象表示,在 OVD / OVS / Text2Image-Object / Open-Caption-Eval 等 11 项任务上单一嵌入超越或匹配任务特定 SOTA。
- SCOPE: Selective Conformal Optimized Pairwise LLM Judging
-
SCOPE 通过双向偏好熵(BPE)消除 LLM 评判中的位置偏差,结合保形风险控制实现有限样本 FDR 控制——在保持高覆盖率的前提下提供统计有效的风险界保证(覆盖率 0.583 时 FDR 仅 0.099 vs Vanilla 1.000 但 FDR 0.198)。
- Self-Debias: Self-correcting for Debiasing Large Language Models
-
Self-Debias 把 LLM 的去偏问题重塑为「在自回归推理链上对概率质量做公平资源分配」:用轨迹级后缀边际作为资源单位,套 Jain 公平指数防止资源在易样本上塌缩,再配 cold-start SFT 与基于一致性过滤的在线自训练,仅用 20k 标注种子就让 Qwen3-8B 在 8 个 fairness/utility 基准上的平均分从 77.5 拉到 81.7,并把基础模型「自我纠错越纠越歪」的塌缩翻转成稳定 +0.4。
- The Geometric Mechanics of Contrastive Representation Learning: Alignment Potentials, Entropic Dispersion, and Cross-modal Divergence
-
本文用测度论框架把 InfoNCE 损失提升到表示分布上的确定性"种群能量",证明 unimodal 情形是凸的且收敛到唯一 Gibbs 平衡,而对称多模态情形会出现持续的负对称 KL 耦合,从几何上必然产生 modality gap。
🩺 医疗 NLP (2)¶
- ClinTutor-R1: Advancing Scalable and Robust One-to-Many Alignment in Clinical Socratic Education
-
提出 ClinTutor-R1,首个面向临床苏格拉底式教学的一对多对齐视觉语言 Agent,通过多智能体模拟器 ClinEdu 构建 48k 对话数据集 ClinTeach,利用显式心智理论推理和三轴 rubric 强化学习,在学员扩展至 10 人时仍保持教学质量稳定,超越基线模型 20% 并达到 GPT-4o 水平。
- MedCase-Structured: A Text-to-FHIR Dataset for Benchmarking Diagnostic Reasoning in Clinically Realistic EHR Settings
-
作者提出一个把自由文本病例转成符合 HL7 FHIR R4 标准的"分阶段 LLM + 术语接地 + 修复循环"流水线,并据此从 MedCaseReasoning 构造出 1408 条结构化合成病例数据集 MedCase-Structured(成功率 82.5%),实验显示 GPT-5.4 / Gemini-3.1-Pro / Claude-Opus-4.6 在结构化 FHIR 输入上的诊断准确率比纯文本输入一致下降 4–23 个点。
📡 信号/通信 (2)¶
- Joint Model and Data Sparsification via the Marginal Likelihood
-
JMDS 通过最大化边缘似然的统一目标同时实现模型和数据稀疏化——避免分阶段优化的次优性,在 CIFAR / ImageNet / WikiText 上以 5-10× 联合压缩比下保持优于独立稀疏化的性能。
- Meta-learning Structure-Preserving Dynamics
-
把 modulation-based 元学习(hyper-network 把 latent code \(\bm{z}^{(k)}\) 映射成层级调制参数)系统性地引入 Hamiltonian / GENERIC 神经网络,提出两种新颖调制——latent multi-rank (MR) 与 latent SVD-like 调制,让一个共享网络在不知道系统参数 \(\bm{\mu}\) 的情况下少样本适配整族新参数实例,同时严格保持能量守恒 / 耗散结构。
🌍 地球科学 (1)¶
- (Sparse) Attention to the Details: Preserving Spectral Fidelity in ML-based Weather Forecasting Models
-
MOSAIC 用"概率扰动 + 在 HEALPix 球面网格上的 mesh-aligned 块稀疏注意力"同时解决了 ML 天气预报模型的两类频谱退化(确定性平均带来的谱衰减 + 粗化潜空间带来的高频走样),在 1.5° 分辨率上仅 214M 参数就匹敌甚至超过 6× 高分辨率的模型,单 H100 12 秒生成 24 成员 10 天预报。
📂 其他 (63)¶
- A Hypertoroidal Covering for Perfect Color Equivariance
-
这篇论文用双覆盖把 HSL 中本来是区间值的饱和度和亮度提升到圆群上,构造 \(\mathbb{T}^3\)CEN,使网络对 hue、saturation、luminance shift 都能实现精确颜色等变,并在颜色偏移和医学图像等任务上提升鲁棒性。
- Adaptive Multi-Round Allocation with Stochastic Arrivals
-
本文形式化网络招募为预算约束的顺序控制问题,证明单轮最优分配是贪心的;通过人口水平代理值函数将多轮规划降维到 \(O(b^5\log b)\) 复杂度,并给出在模型误差下分解为前沿/人口/逼近三类误差的鲁棒性保证。
- AI Cap-and-Trade: Efficiency Incentives for Accessibility and Sustainability
-
作者借鉴碳排放 cap-and-trade,提出针对 AI 推理 FLOP 的配额-交易市场(AI Allowance),用 KKT 条件证明其能在合理参数下严格减少各公司 FLOP 使用,从而同时缓解大模型时代的能耗与小公司被挤出市场两大问题。
- AMDP: Asynchronous Multi-Directional Pipeline Parallelism for Large-Scale Models Training
-
AMDP 用多方向异步流水线、一步参数错配上界、梯度累积和 ZeRO 状态分片,在保持近同步收敛的同时提升大模型流水线并行训练吞吐,在 8 GPU GPT/BERT 实验中相对最强异步基线最高提升约 17%。
- Amortized Simulation-Based Inference in Generalized Bayes via Neural Posterior Estimation
-
这篇论文把 generalized Bayes 中的 power posterior 家族直接摊销到一个同时以观测 \(x\) 和温度 \(\beta\) 为条件的 neural posterior estimator 上,使不同观测和不同 \(\beta\) 下的后验采样可通过一次前向传播完成,而不再需要每次运行 MCMC。
- AutoNumerics-Zero: Automated Discovery of State-of-the-Art Mathematical Functions
-
提出 AutoNumerics-Zero,一种零先验知识的进化符号回归方法,从空程序出发自动发现逼近超越函数(如指数、余弦)的算术程序,在有限精度目标下以更少的运算次数超越了数百年来数学家设计的经典逼近方法。
- Beyond Model Readiness: Institutional Readiness for AI Deployment in Public Systems
-
针对公共部门AI系统"技术上可行但部署上失败"的普遍现象,提出机构对齐就绪度 (Institutional Alignment Readiness, IAR) 五维评估框架,从制度兼容性、数据生态成熟度、人工监督能力、财政可持续性和法规对齐五个维度评估接收机构是否具备负责任部署AI系统的条件。
- Bullet Trains: Parallelizing Training of Temporally Precise Spiking Neural Networks
-
提出基于并行关联扫描(parallel associative scan)的脉冲神经网络并行训练方法,在保持精确硬重置动力学的同时实现最高 44 倍加速,并用可微分数值根求解器实现机器精度的脉冲时间计算。
- Cascaded Flow Matching for Heterogeneous Tabular Data with Mixed-Type Features
-
TabCascade 把表格行拆成"低分辨率(类别 + 数值的离散化版本)"与"高分辨率(连续数值)"两段级联:先用 CDTD 学低分辨率联合分布,再用 flow matching 在低分辨率引导下生成数值细节,并通过数据相关耦合 + 可学非线性时间表收紧 transport cost;天然支持缺失值、零膨胀等"混合型特征"的生成,在 12 个数据集上 detection score 比 SOTA 提升 51.9%。
- Complexity as Advantage: A Regret-Based Perspective on Emergent Structure
-
本文提出 Complexity-as-Advantage (CAA):把"复杂度"重新定义为一族资源受限观察者在同一过程上的后悔(regret)分散程度,并证明它在 log-loss + Markov 框架下等价于条件互信息原子之和(恰好恢复 excess entropy),在编码视角下等价于过剩描述长度的方差(MDL),从而把 Kolmogorov 复杂度、Bennett 逻辑深度、excess entropy 统一成一个可计算、可经验估计的标量谱。