跳转至

📷 CVPR2026 论文汇总

3995篇CVPR2026论文解读,涵盖 3D 视觉(623篇)、多模态 VLM(533篇)、图像生成(449篇)、视频生成(180篇)、视频理解(179篇)、人体理解(174篇)、医学图像(174篇)、语义分割(162篇)等 47个方向。每篇含一句话总结、核心思想、方法详解、实验结果与局限性分析,5分钟读懂一篇论文核心思想。


🦾 LLM Agent (41)

AdapAction: Adaptive Target Action Backdoor Attack against GUI Agents

针对 MLLM 驱动的 GUI 智能体,把传统"触发器→固定动作"的后门换成"触发器→情境自适应恶意动作":用一个对抗教师 LLM 生成结构化恶意推理轨迹、通过 SFT 蒸馏进目标智能体,使其在被触发时根据当前界面和指令自主挑选一个看起来完全合理的恶意操作,从而在保持正常任务效用的同时把攻击成功率推到 100%,并躲过多原则 LLM 防御。

Asynchronous Temporal Modeling with Two-Agent Framework for Streaming Dense Video Captioning

针对流式稠密视频描述里"何时该说话"难以靠阈值控制的痛点,本文用一个小模型当"先知"(Oracle)抢跑检测事件边界、一个大模型当"听众"(Listener)收到信号才生成描述的双智能体异步框架 Takusen,从机制上消除阈值,在 ActivityNet Captions 和 YouCook2 上取得流式 SOTA。

BAMI: Training-Free Bias Mitigation in GUI Grounding

本文先用 MPD 归因法诊断出 GUI grounding 的错误主要来自两类归纳偏差(精度偏差 + 歧义偏差),再提出免训练的 BAMI 推理框架,用「由粗到精聚焦」消除精度偏差、用「候选选择」消除歧义偏差,把 TianXi-Action-7B 在 ScreenSpot-Pro 上的准确率从 51.9% 提到 57.8%。

CarePilot: A Multi-Agent Framework for Long-Horizon Computer Task Automation in Healthcare

提出CareFlow基准(1050个医疗软件长视界工作流任务,8-24步,覆盖DICOM/3D Slicer/EMR/LIS四大系统)和CarePilot框架(基于Actor-Critic范式,集成工具grounding和双记忆机制),在CareFlow上超越GPT-5约15%的任务准确率。

CGL: Advancing Continual GUI Learning via Reinforcement Fine-Tuning

针对 GUI agent 在 app 频繁更新下"学新忘旧"的问题,本文发现 SFT 学得快但会覆写旧知识、RL(GRPO)抗遗忘但学得慢,于是提出 CGL 框架——用"错误感知路由 + 熵调控加权 + 条件梯度手术"把 SFT 和 GRPO 拧成一股绳,在自建的 AndroidControl-CL 基准上同时拿到最高准确率和近乎为零的遗忘度。

DRAMA: Next-Gen Dynamic Orchestration for Resilient Multi-Agent Ecosystems in Flux

DRAMA 把具身多智能体系统里的 agent 和 task 统一抽象成"资源实体",用亲和度矩阵 + 改造版匈牙利算法做事件触发的动态调度,再加一条"信任链"做去中心化故障接管,让团队在 agent 中途掉线/加入/恢复时仍能不间断完成任务,在 VirtualHome-Social 上比 SOTA 平均步数更少、冲突率更低、吞吐更高。

Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos

提出 Ego2Web,首个将第一人称视频感知与 Web 代理执行相结合的基准测试,配套半自动数据构建流程和 Ego2WebJudge 自动评测框架,实验揭示当前最强 Agent 在真实视觉感知到在线行动的跨模态迁移上仍有巨大差距,最高仅 48.2% 成功率。

EpiAgent: An Agent-Centric System for Ancient Inscription Restoration

EpiAgent是首个面向古代铭文修复的Agent系统,通过LLM中央规划器协调多模态分析、专用修复工具和迭代自我优化,在文字真实性和视觉保真度上超越现有方法。

Experience Transfer for Multimodal LLM Agents in Minecraft Game

本文提出 Echo——一个面向"迁移"的记忆框架,把可复用知识显式拆成结构/属性/过程/功能/交互五个迁移维度,封装进统一的上下文状态描述符(CSD),再用上下文类比学习(ICAL)主动地从记忆库里推断并验证新任务,在 Minecraft 从零学习场景里把物品解锁速度提升 1.3×–1.7×,并出现"链式爆发解锁"现象。

GUI-CEval: A Hierarchical and Comprehensive Chinese Benchmark for Mobile GUI Agents

提出 GUI-CEval,首个面向中文移动端 GUI Agent 的综合评测基准,覆盖 201 个主流中文 App、4 种设备类型,采用"基础能力+应用能力"两层结构从感知、规划、反思、执行、评估五个维度进行细粒度诊断,在 20 个代表性模型上的实验揭示当前模型在反思和自我评估方面仍有明显短板。

查看全部41篇「LLM Agent」论文 →


👻 幻觉检测 (38)

3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding

3D-VCD 是首个面向 3D 具身智能体的推理时幻觉抑制框架:对物体中心的 3D 场景图施加语义/几何扰动得到一个"被破坏"的负样本上下文,让 MLLM 在原始图和扰动图上各跑一遍,再用对比解码公式把"换了场景也照样高概率"的 token 压下去——无需重训,几乎零额外开销,就在 3D-POPE / HEAL 上显著降低过度肯定与物体幻觉。

AdaIAT: Adaptively Increasing Attention to Generated Text to Alleviate Hallucinations in LVLM

针对"放大图像注意力虽能压幻觉、却让模型重复啰嗦"的痛点,本文发现真实物体 token 比幻觉 token 对已生成文本 \(T_p\) 的注意力更高,于是改为增大对 \(T_p\) 的注意力(IAT),并进一步用逐层阈值控制"何时干预"、用逐头放大矩阵控制"放大多少"(AdaIAT),在 LLaVA-1.5/Janus-Pro/Qwen2.5-VL 上把幻觉率(CS/CI)显著降低的同时几乎不损失文本多样性。

Beyond the Global Scores: Fine-Grained Token Grounding as a Robust Detector of LVLM Hallucinations

提出基于 patch 级别的 LVLM 幻觉检测框架,发现幻觉 token 表现出弥散注意力模式和低语义对齐两个特征标志,据此设计注意力弥散分数(ADS)和跨模态接地一致性(CGC)两个轻量指标,检测准确率达 90%。

CausalLens: Sensitivity-Guided Multi-Head Causal Intervention for Hallucination Mitigation in Large Vision-Language Models

CausalLens 通过把解码器每个注意力头拆成"视觉/文本/系统提示"三条通路,用一个视觉敏感度分数挑出真正看图的头,在中层(L10–L20)单次前向里直接放大它们的视觉贡献并做投影对齐修正,从而在不训练、不多次解码的前提下显著降低大视觉语言模型的幻觉。

COPO: Causal-Oriented Policy Optimization for Hallucinations of MLLMs

作者发现 MLLM 用 GRPO(只看最终答案对错的 outcome reward)后训练时会过度关注图像背景、形成"背景→答案"的虚假相关进而产生幻觉,于是提出 COPO:给每个推理 token 算一个"因果完备性"奖励(充分性 + 必要性),把它注入 GRPO 的优势函数,逼模型只奖励真正决定答案对错的 token,从而在 CHAIR/POPE 等多个幻觉基准上稳定降低幻觉率。

Cross-Modal Attention Calibration for LVLM Hallucination Mitigation

针对 LVLM 幻觉,本文提出免训练的跨模态注意力校准框架 CMAC:用 IMD 模块在注意力层"外科手术式"地遮蔽跨模态高权重的 value 向量来构造更精准的幻觉分布做对比解码,并用 CMPC 模块缩放图像 token 的位置索引来缓解 RoPE 带来的位置偏置,在 POPE/CHAIR/MME 上全面超过现有对比解码方法。

ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Video Understanding

本文提出"语义聚合幻觉(SAH)"这一被忽视的视频幻觉类型——模型每一帧都看对了,却在跨事件聚合时把语义张冠李戴——并构建首个针对它的基准 ELV-Halluc(348 个多事件视频、对抗三元组问答),系统评测 19 个 MLLM,证明 SAH 随语义复杂度上升,并用改进位置编码 + 8K 对抗对 DPO 把 SAH Ratio 最多降 27.7%。

Envision, Attend, Then Respond: Counterfactual Hallucination Mitigation in Large Vision-Language Models

EnAR 是一个训练无关框架,用扩散模型为输入图像生成一张"它本该长什么样"的视觉印象,再通过比对原图与印象的视觉注意力差异定位出违反常识的反事实元素(如五条腿的羊驼),把这些 token 屏蔽掉做对比解码,从而让 LVLM 把回答锚定在真实像素而非语言先验上——在反事实基准 VLMBias 上提升 10.82%、在通用幻觉 POPE 上平均提升 6.9%。

Evaluating and Easing Hallucinations for GUI Grounding

本文首次系统研究 GUI grounding 中的幻觉问题,把它拆成"认错相似元素"的混淆幻觉和"凭空捏造坐标"的虚构幻觉,构建了双语、双子集的 GUI-HalluBench 来诊断幻觉与 parsing 能力的关联,并给出一个免训练的"先解析后定位"提示(PGP)和一个基于幻觉数据微调(HFT)的缓解方案,实验证明 parsing 越强幻觉越少、HFT 最高带来约 7% 的绝对提升。

Fighting Hallucinations with Counterfactuals: Diffusion-Guided Perturbations for LVLM Hallucination Suppression

提出 CIPHER,一种无需训练的测试时幻觉抑制方法:离线阶段用扩散模型生成反事实图像构建 OHC-25K 数据集,通过 SVD 提取视觉幻觉子空间;推理阶段将隐状态投影到该子空间的正交补空间,在不修改模型参数、不增加推理开销的前提下显著降低 LVLM 的视觉幻觉。

查看全部38篇「幻觉检测」论文 →


🔒 LLM 安全 (24)

A Closed-Form Solution for Debiasing Vision-Language Models with Utility Guarantees Across Modalities and Tasks

提出VLM去偏的闭式解方法,通过在跨模态嵌入空间中对属性子空间做正交分解并利用Chebyshev标量化求解,实现Pareto最优公平性与有界效用损失,免训练、免标注,统一覆盖零样本分类、文本-图像检索和文本-图像生成三大下游任务。

Demographic Fairness in Multimodal LLMs: A Benchmark of Gender and Ethnicity Bias in Face Verification

首次系统性地评估了 9 个开源 MLLM 在人脸验证任务上的人口统计公平性,在 IJB-C 和 RFW 两个 benchmark 上使用 4 种 FMR-based 公平性指标衡量性别和族裔偏差,发现 MLLM 的偏见模式与传统人脸识别系统不同。

Designing to Forget: Deep Semi-parametric Models for Unlearning

提出"Designing to Forget"理念,设计了一族深度半参数模型 (SPM),在推理时通过简单删除训练样本即可实现遗忘(无需修改模型参数),在 ImageNet 分类上将与重训基线的预测差距减少 11%,遗忘速度提升 10 倍以上。

FairLLaVA: Fairness-Aware Parameter-Efficient Fine-Tuning for Large Vision-Language Models

提出 FairLLaVA,一种参数高效的公平性微调方法,通过最小化隐藏状态与人口学属性之间的互信息来消除多模态大语言模型中的人口学捷径,在胸片报告生成和皮肤病变问答中显著缩小了群体间性能差距。

FORCE: Transferable Visual Jailbreaking Attacks via Feature Over-Reliance CorrEction

分析发现视觉 jailbreak attack 迁移性差的根因是 attack 处于 high-sharpness loss region——源于浅层特征过度依赖 model-specific 表示和高频信息过度影响;提出 FORCE 方法通过 layer-aware regularization 扩展浅层 feasible region + spectral rescaling 抑制高频非语义成分,引导 attack 进入 flatter loss landscape,显著提升跨模型迁移性。

Harmonious Parameter Adaptation in Continual Visual Instruction Tuning for Safety-Aligned MLLMs

HPA 关注一个被忽视的场景——对"已做过安全对齐"的多模态大模型继续做持续视觉指令微调(post-SA CVIT)时,模型既会遗忘旧任务、又会丢掉安全性;它在每步微调后做无侵入的后训练参数调整,用 Hessian 重要性把参数分成"安全焦点 / 任务焦点"、在层内层间平衡地选择性保留安全参数、并对更新方向施加正交约束,从而在安全和任务性能之间取得和谐折中。

IAG: Input-aware Backdoor Attack on VLM-based Visual Grounding

提出IAG,首个针对VLM视觉定位的多目标后门攻击方法,通过文本条件U-Net动态生成输入感知触发器,将任意指定目标物体的语义信息嵌入视觉输入中,在12种设置下的11种达到最高攻击成功率。

Interpretable Debiasing of Vision-Language Models for Social Fairness

提出 DeBiasLens,通过在 VLM 编码器上训练稀疏自编码器(SAE)来定位编码社会属性的"社会神经元",然后在推理时选择性去激活这些神经元以缓解偏见,在 CLIP 上降低 Max Skew 9-16%,在 InternVL2 上降低性别偏差比例 40-50%,同时保持通用性能。

Learning from Oblivion: Predicting Knowledge-Overflowed Weights via Retrodiction of Forgetting

提出KNOW prediction:通过在逐步缩小的数据子集上sequential fine-tuning诱导结构化遗忘过程,收集权重转变轨迹,然后用meta-learned hyper-model(KNOWN)反转forgetting方向,预测"仿佛在更大数据集上训练"的虚拟知识增强权重。跨多数据集(CIFAR/ImageNet/PACS等)和多架构(ResNet/PVTv2/DeepLabV3+)持续超越naive fine-tuning及多种weight prediction基线,在图像分类、语义分割、图像描述、域泛化等下游任务上均有显著提升。

Multi-Paradigm Collaborative Adversarial Attack Against Multi-Modal Large Language Models

提出 MPCAttack 框架,联合跨模态对齐、多模态理解和视觉自监督三种学习范式的特征表示,通过多范式协同优化策略生成高迁移性对抗样本,在开源和闭源 MLLM 上均取得 SOTA 攻击效果。

查看全部24篇「LLM 安全」论文 →


💡 LLM 推理 (20)

Agile Deliberation: Concept Deliberation for Subjective Visual Classification

针对"健康食物""标题党"这类边界模糊的主观概念,提出 Agile Deliberation 人在回路框架:先把概念分解成正/负子概念层级,再迭代地检索"语义边界样本"让用户标注与反思、并自动把反馈编译成 VLM 提示,使图像分类器逐轮对齐用户不断演化的意图,18 场真人实验中 F1 比自动分解基线高 7.5%、比手动审议高 3%+。

APPO: Attention-guided Perception Policy Optimization for Video Reasoning

APPO 发现「视频推理瓶颈在感知而非推理」,于是用模型自身对视频帧的注意力把稀疏 outcome reward 转成 token 级稠密奖励——让不同回答里聚焦同一关键帧的「组内感知 token」按高/低奖励差异化加权学习,在 Qwen2.5-VL-3/7B 上稳定超过 GRPO 和 DAPO(0.5%∼4%)。

Dynamic Important Example Mining for Reinforcement Finetuning

DIEM 在 RFT(GRPO/PPO 等)的每一步训练里,用「单样本梯度与 batch 总梯度的内积」实时估计每条样本对当前策略改进的边际贡献,再解一个保持梯度模长不变的约束优化问题给样本重加权,几乎零额外开销(+1.3% 时间)就让多模态推理 benchmark 平均提升 1–6 个点。

E-comIQ-ZH: A Human-Aligned Dataset and Benchmark for Fine-Grained Evaluation of E-commerce Posters with Chain-of-Thought

构建首个面向中文电商海报的多维度质量评估框架 E-comIQ-ZH,包含18K专家标注数据集(含CoT推理链)、专用评估模型 E-comIQ-M(SFT+GRPO训练)和标准化基准 E-comIQ-Bench。

EagleVision: A Dual-Stage Framework with BEV-grounding-based Chain-of-Thought for Spatial Intelligence

提出EagleVision双阶段框架,宏观感知阶段用语义-视角融合DPP(SPF-DPP)在SE(3)空间联合优化语义相关性和视角多样性选择关键帧,微观验证阶段让模型在BEV平面上主动查询新视角帧进行迭代空间CoT推理(假设→查看→验证闭环),查询策略纯RL训练无需人工标注,在VSI-Bench和SQA3D上达开源SOTA。

FireScope: Wildfire Risk Raster Prediction with a Chain-of-Thought Oracle

用一个 GRPO 微调、会写思维链的 VLM(Oracle)先把卫星图+气候推理成一个标量野火风险分,再用 FiLM 把这个分喂给轻量视觉 Encoder-Decoder 去生成高分辨率连续风险栅格——在「美国训练、欧洲测试」的跨洲设定下,显式语言推理显著提升了分布外泛化,且推理痕迹可被野火专家复原、可解释。

Hilbert-Geo: Solving Solid Geometric Problems by Neural-Symbolic Reasoning

Hilbert-Geo 是首个面向立体几何的统一形式化语言框架(含谓词库 + 定理库),用"先解析后推理"的 Parse2Reason 方法——先让多模态大模型把文字题面和 3D 图示翻译成形式化的条件描述语言(CDL),再用专门的符号推理引擎做严格的定理搜索,从而把 MLLM 在立体几何上 50% 出头的准确率提到 77.3%,逼近人类水平。

Human-like Abstract Visual Reasoning via Understanding and Solving Reasoning Loop

把人类"理解—求解—再理解"的迭代认知拆成可循环交互的理解模块(UM)与求解模块(SM),辅以表征同构约束和自适应停止机制,让一个仅 7M 参数的小模型在 ARC-AGI-1 上达到 47.2% 准确率,超过 TRM 与一众通用大模型。

Improving Vision-language Models with Perception-centric Process Reward Models

针对 VLM 强化学习里"只有结果奖励、定位不到错在哪一步"的痛点,本文训练了一个感知中心的过程奖励模型 Perceval,逐条核查推理链里的图文一致性、标出幻觉 token,再把这个信号同时用于训练(token 级优势重分配改造 GRPO)和推理(截断-重生成),在多个视觉推理基准上稳定涨点,并意外地把"感知更准"泛化成了"整体推理更强"。

Latent Chain-of-Thought World Modeling for End-to-End Autonomous Driving

LCDrive 提出潜在链式思考(Latent CoT)框架,用动作提议token和世界模型预测token替代自然语言CoT进行推理,通过冷启动+RL后训练实现更低延迟、更好轨迹质量的端到端自动驾驶。

查看全部20篇「LLM 推理」论文 →


👥 多智能体 (9)

Agent4FaceForgery: Multi-Agent LLM Framework for Realistic Face Forgery Detection

用一套 LLM 驱动的多智能体系统去"扮演"造假者和社交网络上的吃瓜群众,模拟人脸伪造从创作到传播的完整生命周期,合成出带文图一致性标注的训练数据,让 deepfake 检测器在跨域、跨伪造算法的真实场景下涨点显著(如 Celeb-DF AUC 从 70% 级提到 87.1%)。

AgentDet: A Shared-Blackboard Multi-Agent Framework for Zero-/Few-Shot Object Detection

AgentDet 把零/少样本目标检测拆成 Scout / Pinner / Curator / Judge 四个 LLM 智能体,通过一块"共享黑板"+一个 patch 级"知识库"协作:把视觉证据碎片化存进知识库、组合成整体文本线索喂给 LLM 做框预测,并且只训练 Judge 一个智能体,就在 PASCAL VOC / COCO 的 ZSOD/FSOD 上做到了与 SOTA 强竞争的结果。

MOTOR-Bench: A Real-world Dataset and Multi-agent Framework for Zero-shot Human Mental State Understanding

针对「从可观察行为推断深层心理状态」缺少结构化标注这一空白,本文构建了真实课堂协作学习场景的多模态数据集 MOTOR-dataset(1,440 段视频,行为/认知/情绪三维标注),并提出基于自我调节学习理论(SRL)的推理型多智能体框架 MOTOR-MAS——三个专职 agent 按「行为→认知→情绪」顺序级联推理,把前一阶段的预测当锚点喂给后一阶段,零样本下 Macro-F1 达 42.77,比最强单模型基线高 15.93 分。

Paper2Figure: A Multi-Agent Collaborative System for Figure Generation Towards Academic Research Paper

Paper2Figure 用「生成智能体 + 精修智能体」双多智能体系统,先把论文文字描述翻译成自研的结构化中间语言 FigScript、渲染成图,再让一组批评-修订智能体闭环自纠,配上可交互的 Web 编辑器把人类控制权交还给作者,在自建的 Paper2Figure Bench 上准确性、美观度、完整度全面超过 SVG/Mermaid 代码生成和文生图基线(综合 +14.1%)。

Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation

Refer-Agent 把指代视频目标分割(RVOS)拆成「帧选择→意图分析→目标定位→掩码生成」的分步推理流水线,再叠一层由提问者-回答者构成的双阶段 Chain-of-Reflection(存在性反思 + 一致性反思)在推理与反思之间交替自纠,从而在完全免训练、仅用 9B 开源 MLLM 的条件下,于 5 个 RVOS 基准上同时超过 SFT 方法和接入 GPT-4o 的零样本方法。

SciEducator: Scientific Video Understanding and Educating via Deming-Cycle Multi-Agent System

SciEducator 把管理学里的戴明环(Plan–Do–Study–Act)改造成一个会自我进化的多智能体闭环,让系统反复"规划—执行—复盘—改进"地读懂科学实验视频,并进一步生成图文音并茂的儿童科普电子手册,在自建的 SciVBench 上大幅超过 GPT-4o、Gemini 等闭源 MLLM 和现有视频 Agent。

Symphony: A Cognitively-Inspired Multi-Agent System for Long-Video Understanding

Symphony 模仿人类认知把长视频理解拆给"按能力维度分工"的多个专用智能体(规划、反思、grounding、字幕、视觉感知),用一个 Actor-Critic 式的反思增强动态协作机制反复纠偏推理,并为复杂问题设计了一个会"先扩写查询再用 VLM 打分"的 grounding 智能体,在 LVBench、LongVideoBench、Video-MME、MLVU 四个基准上达到 SOTA,LVBench 比前最优高 5.0%。

Tackling Model Bias via Game-theoretic Multi-agent Collaboration Framework for Hateful Meme Classification

GECO 把三个大型多模态模型加一个可学习智能体、一个主决策智能体组织成一场正则化博弈,用"混合奖励"驱动它们就正确标签达成共识,从而压制单模型与模型间的认知偏差,在五个仇恨表情包基准上刷新 SOTA。

Visual Document Understanding and Reasoning: A Multi-Agent Collaboration Framework with Agent-Wise Adaptive Test-Time Scaling

MACT 把"单模型一把梭"的视觉文档问答拆成规划、执行、判断、回答四个分工明确的智能体,并按每个智能体的认知负荷自适应分配测试时算力(而非统一堆参数),在 15 个基准上以 <30B 参数稳进前三、平均比基座模型提升 9.9–11.5%。


⚖️ 对齐 / RLHF (8)

Anchoring the Mind of Multimodal Reasoners: Cognitive Bias as a Vector for Jailbreak Attacks

本文发现多模态大推理模型(MLRM)的安全判断存在"锚定效应"——会被最先看到的信息严重带偏,据此提出 RA-Attack:先用一张"看起来安全"的结构化思维导图加教育语境文本把模型的推理链锚定到安全基调,再顺势把有害意图包装成这条推理链的自然延伸,在 7 个主流 MLRM 上把越狱成功率(ASR)刷到 92%(Gemini-2.5-Pro)、82%(GPT-4o)的 SOTA。

DRM: Diffusion-based Reward Model With Step-wise Guidance

本文把预训练扩散模型本身当作奖励模型骨干(DRM),利用它能给任意去噪步的噪声潜变量打分这一独特能力,分别设计了密集逐步奖励的 Step-GRPO(训练)和"探索-择优"的 Step-wise Sampling(推理),在不增参数的前提下显著提升 SD3.5-Medium 的生成质量,且收敛速度快 2.5–3.5 倍。

EcoAlign: An Economically Rational Framework for Efficient LVLM Alignment

EcoAlign 把视觉语言大模型(LVLM)的推理时对齐重新框定为"有限算力预算下的最优路径搜索"问题:在动态构建的思维图上用一个类似净现值(NPV)的前瞻函数给每个候选动作打分,权衡安全、效用与成本,并用"最弱环节"原则定义路径安全,从而在更低算力下达到甚至超过现有方法的安全与效用。

Principled Steering via Null-space Projection for Jailbreak Defense in Vision-Language Models

提出 NullSteer,一种基于零空间投影的激活转向防御框架,通过将转向操作限制在良性激活的零空间中,在不损害模型通用能力的前提下有效抵御视觉越狱攻击。

SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization

SafeGRPO 把"可验证的规则化奖励"塞进 GRPO,让多模态大模型在无需人工偏好标注的情况下自奖励地学会"先按视觉/文本/组合三层逐步推理安全性、再决定回答还是拒答",在多个安全基准上同时提升越狱防御、安全意识与稳定性,且几乎不损伤通用能力、不引入过度拒答。

Thinking with Frames: Generative Video Distortion Evaluation via Frame Reward Model

REACT 是一个面向生成视频「结构失真」的帧级奖励模型:先建一套八类失真分类体系并标注 1.5 万对帧偏好数据,用 grounding 重构 + Gemini-2.5-Pro 低成本合成 6K 条 CoT,再以「掩码 SFT + GRPO 成对奖励」两阶段训练 Qwen2.5-VL-7B,推理时用动态采样聚焦最可能失真的帧,在偏好对齐和失真识别两项任务上都显著超过现有视频/图像评估器。

Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models

UE-DPO 把多模态大模型(MLLM)幻觉抑制的优化重心,从"模型已经看得懂的视觉敏感 token"挪向"模型看不懂、却很关键的认知盲区 token"——用 token 级认识不确定性(epistemic uncertainty)量化这些盲区,再按不确定性给 preferred / dispreferred 两支非对称地调节 DPO 梯度强度,在多个幻觉 benchmark 上以更小数据量超过 TPO/V-DPO 等同类方法。

Unlocking Token Rewards via Training-Free Reward Attribution

P2T 用一阶 Taylor 近似,把已有过程奖励模型(PRM)打出的「整段」奖励免训练地拆解到每个 token 上——只需一次前向+反向就能算出全序列的 token 级奖励,接到 GRPO 后让数学/多模态推理 RL 训练收敛快约 4×、且在 AIME24 上比 outcome reward 提升 +11.5%。


⚡ LLM 效率 (5)

E\(^2\)-SCI: Elastic Edge-Cloud Speculative Decoding via Credit Inertia

本文发现边云投机解码中相邻窗口的 token 接受率存在强时序一致性(称为"信用惯性"),据此用历史接受率动态调节验证阈值,再配合异步流水线(PLC)把草稿生成与云端验证并行起来,在 DeepSeek-R1-Distill-Qwen (1.5B/32B) 上达到 9.4+ tokens/s、相对 FSD 基线提速 88.5% 且不损精度。

Gated KalmaNet: A Fading Memory Layer Through Test-Time Ridge Regression

把线性状态空间模型(SSM)的状态更新重新解释成"对全部历史做一次测试时岭回归",用卡尔曼滤波的精确增益替代现有 SSM 的一步梯度近似,并通过自适应正则 + Chebyshev 迭代解决低精度数值不稳与并行训练两大障碍,在短/长上下文及 ImageNet 上都超过 Mamba2、Gated DeltaNet 等线性 SSM。

Generalizable Video Quality Assessment via Weak-to-Strong Learning

不依赖任何人工打分标签,用现成 VQA 模型当"弱老师"去监督一个高容量多模态大模型"强学生",再把学生回收成下一轮老师做迭代,最终在域内持平、在 OOD 上大幅超越所有老师,把 VQA 的 OOD 整体 SRCC 从 0.59 推到 0.745。

ParallelVLM: Lossless Video-LLM Acceleration with Visual Alignment Aware Parallel Speculative Decoding

针对 Video-LLM 投机解码在长视频上"draft 和 target 互相干等"以及"提速比和模型对齐相互掣肘"两大瓶颈,ParallelVLM 把预填充和解码都做成 draft/target 并行流水线,并用基于视觉-文本相似度变化(而非注意力分数)的无偏剪枝 UV-Prune 扩大草稿窗口,在 LLaVA-OneVision-72B / Qwen2.5-VL-32B 上分别取得 3.36× / 2.42× 的无损加速,且免训练、即插即用。

QuietPrune: Query-Guided Early Token Pruning for Vision-Language Models

QuietPrune 提出查询引导的早剪枝:在 ViT 前向过程中、而非传统的 ViT 之后,就把与文本查询无关的视觉 token 剪掉——通过把 VLM 投影器做逆变换得到的轻量适配器,把文本查询转成一个视觉域的 [Q-CLS] token 来提供文本指导,再以 2×2 分组的半结构化方式剪枝并聚合冗余 token,在 Qwen3-VL / InternVL3 上把 prefill 延迟最多降 19.0%、同时比现有晚剪枝方法精度高 4.2%。


📚 预训练 (4)

Evidential Transformation Network: Turning Pretrained Models into Evidential Models for Post-hoc Uncertainty Estimation

本文提出 Evidential Transformation Network (ETN),一个轻量级后置模块,通过在 logit 空间学习样本相关的仿射变换,将预训练分类器或 LLM 转化为证据模型,以最小的计算开销实现可靠的不确定性估计。

Linking Modality Isolation in Heterogeneous Collaborative Perception

提出 CodeAlign 框架,通过码本构建离散代码空间和跨模态 Feature-Code-Feature (FCF) 翻译,首次解决异构协同感知中不同模态从未在训练数据中共现的"模态隔离"问题,仅需 HEAL 8% 训练参数、通信量降低 1024 倍,同时达到 SOTA 感知性能。

Unlocking Pre-trained Weights: Parameter Inheritance for Zero-Shot Initialization

PITH 用图超网络给目标网络动态生成「投影矩阵」,把预训练大模型的内部权重直接投影到任意尺寸的目标 ViT 上完成初始化,使得初始化后的网络无需任何训练就能直接用——在 ImageNet-1K 上 ViT-Base 零样本精度 53.35%,比上一代 SOTA(TAL)高 6.54%。

Watch and Learn: Learning to Use Computers from Online Videos

提出 Watch & Learn (W&L) 框架,通过逆动力学模型 (IDM) 将互联网上的人类计算机操作视频自动转化为可执行的 UI 轨迹数据,生成 53K+ 高质量轨迹,作为 ICL 示例或 SFT 训练数据显著提升各类 CUA 性能。


✏️ 知识编辑 (3)

Attribution-Guided Model Rectification of Unreliable Neural Network Behaviors

提出归因引导的动态模型纠正框架,将rank-one model editing从领域适配重定位为行为纠正,通过Integrated Gradients量化各层可编辑性自动定位嫌疑层,仅需1个清洁样本即可修复后门攻击、虚假相关和特征泄漏三类不可靠行为。

MoKus: Leveraging Cross-Modal Knowledge Transfer for Knowledge-Aware Concept Customization

提出"知识感知概念定制"新任务,发现LLM文本编码器中的知识编辑可以自然迁移到视觉生成模态(跨模态知识迁移),基于此提出MoKus框架:先用LoRA微调将稀有token绑定为视觉概念的锚表征,再通过知识编辑技术将多条自然语言知识高效映射到锚表征上,每条知识更新仅需约7秒。

SAME: Sparse and Anchored Model Editing for Heterogeneous Incremental Learning under Limited Data

把大语言模型里的「定位—编辑 FFN 键值对」思路搬到 CLIP 这类视觉语言模型上,提出在无任务标识、跨域、少样本的「异构增量学习(HIL)」新设定下,用稀疏微调 + 双锚约束 + 闭式求解把每个新任务的知识直接写进 FFN 输出投影矩阵,不加任何额外参数,平均精度比现有持续学习方法高 6.8%、保留 oracle 性能的 95.8%。


💬 LLM 其他 (3)

CoLLM-NAS: Collaborative Large Language Models for Efficient Knowledge-Guided Neural Architecture Search

用两个分工互补的 LLM(有记忆的 Navigator 负责出策略、无记忆的 Generator 负责出候选架构)替换两阶段 NAS 第二阶段里的进化算法,把架构搜索变成"轨迹→策略→方案"的定向优化,在 ImageNet 和 NAS-Bench-201 上既刷新 SOTA 又把搜索成本压低 4–10×。

LLM-Guided Probabilistic Fusion for Label-Efficient Document Layout Analysis

本文把文本预训练 LLM 当作"结构先验生成器"塞进半监督版面检测的伪标签精化环节——用 OCR+LLM 推断文档层级区域,再和教师检测器输出做逆方差概率融合(含可学习的实例自适应门控),仅用 5% 标注就在 PubLayNet 上达到 88.2 AP(轻量骨干)/89.7 AP(LayoutLMv3),并对标题/页眉等稀有版面元素提升最大。

OmniDocLayout: Towards Diverse Document Layout Generation via Coarse-to-Fine LLM Learning

针对现有文档版面生成数据「只有学术论文、样式单一」的痛点,作者先造了首个百万级、覆盖六类文档的多样化版面数据集 OmniDocLayout-1M,再用一个 0.5B 的小 LLM 通过「先在多域粗标签上学版面通则、再用少量细标签适配具体领域」的由粗到精范式,在 M6Doc 上同时超过专用版面生成模型和 GPT-4o/Gemini/Claude 等通用大模型。


🔍 信息检索/RAG (11)

Beyond Global Similarity: Towards Fine-Grained, Multi-Condition Multimodal Retrieval

提出MCMR(Multi-Conditional Multimodal Retrieval)大规模基准,通过双证据设计(部分属性仅可从图像推断、部分仅可从文本获取)确保检索任务不可被单模态解决,系统评估5个检索器和7个MLLM重排器,揭示模态不对称性和细粒度推理差距。

CC-VQA: Conflict- and Correlation-Aware Method for Mitigating Knowledge Conflict in Knowledge-Based Visual Question Answering

提出 CC-VQA,一种 training-free 的知识冲突缓解方法,通过视觉中心的上下文冲突推理和相关度引导的编码/解码两阶段策略,在 E-VQA、InfoSeek、OK-VQA 三个基准上取得 3.3%-6.4% 的绝对精度提升。

Explaining CLIP Zero-shot Predictions Through Concepts

本文提出 EZPC,通过学习一个线性投影矩阵将 CLIP 的图像-文本嵌入映射到可解释的概念空间,在几乎不损失零样本分类精度的前提下(CIFAR-100/CUB/ImageNet-100 上 H-mean 仅差约 1%),为 CLIP 的预测提供基于人类可理解概念的忠实解释,且推理开销仅增加约 0.1ms。

Language-driven Fine-grained Retrieval

LaFG 把细粒度图像检索(FGIR)的监督信号从语义稀疏的 one-hot 类名换成「属性级语言原型」——用 LLM 把类名展开成属性描述、用冻结 VLM 编码并聚类成数据集级属性词表、再为每类选 Top-K 属性聚合成原型来监督检索模型,从而建立跨类别细节的可比性,在 CUB / Cars / SOP 上刷 SOTA 并显著提升对未见类的泛化。

M4-RAG: A Massive-Scale Multilingual Multi-Cultural Multimodal RAG

提出首个大规模多语言多文化多模态 RAG 评估框架 M4-RAG,覆盖 42 种语言和 189 个国家的 80K+ 文化 VQA 实例,系统性揭示了 RAG 对小模型有效但无法随模型规模正向扩展、跨语言检索存在严重性能退化的关键发现。

Mask to Align, Weight to Disambiguate: Reliable Unsupervised Cross-Modal Hashing with Masked-Weight Contrast

针对无监督跨模态哈希里"部分对齐 + 语义歧义"两大顽疾,UWMCH 在融合前对 token 做掩码以逼模型学互补语义,再用语义亲和度给对比损失重新加权来压制假负样本,并辅以双尺度语义正则稳住哈希空间,在三个检索基准的 24 个设置里 21 个拿到最优 mAP。

MuCo: Multi-turn Contrastive Learning for Multimodal Embedding Model

MuCo 提出了一种基于多轮对话的对比学习框架,利用 MLLM 的对话能力在单次前向传播中同时处理多个关联的 query-target 对,大幅提升训练效率,并在 MMEB 和 M-BEIR 检索基准上取得 SOTA 性能。

PinPoint: Evaluation of Composed Image Retrieval with Explicit Negatives, Multi-Image Queries, and Paraphrase Testing

提出 PinPoint 基准,包含 7,635 个查询和 329K 人工验证的相关性判断,通过显式负样本、多图像查询、释义变体和人口统计元数据四个维度,揭示了现有 CIR 方法在假阳性抑制、语言鲁棒性和多图像推理上的严重缺陷,并提出基于 MLLM 的无训练重排方法作为改进基线。

POGA: Paraphrased and Oppositional Graph Alignment for Fine-Grained Cross-Modal Retrieval

POGA 把图文都解析成结构化场景图,用 LLM 自动生成"复述正样本 + 反事实负样本"并提取它们的差异信息,再用一个跨全局/节点/关系/焦点四个粒度的复合损失训练,从而在长文本细粒度检索上既看清物体属性又能否决"语义相近但事实错误"的描述。

ProM3E: Probabilistic Masked MultiModal Embedding Model for Ecology

ProM3E 用一个"先对齐再融合"的两阶段框架,在嵌入空间里训练一个掩码变分自编码器(MVAE),从少量可见模态推断缺失模态的高斯分布表示,从而支持任意到任意的模态生成、模态反演检索,以及"该融合哪些模态"的不确定性分析,在生态学多模态任务上全面超越 TaxaBind。

查看全部11篇「信息检索/RAG」论文 →


💻 代码智能 (2)

GeoTikzBridge: Advancing Multimodal Code Generation for Geometric Perception and Reasoning

GeoTikzBridge 通过构建最大的 2.5M 图像-TikZ 代码数据集和首个辅助线指令数据集,训练出能精准重建几何图形的代码生成模型,并可作为即插即用模块增强任意 MLLM/LLM 的几何推理能力。

MM-ReCoder: Advancing Chart-to-Code Generation with Reinforcement Learning and Self-Correction

提出 MM-ReCoder,首个具备自我纠错能力的图表转代码多模态 LLM,通过两阶段多轮 GRPO 强化学习(先共享首轮优化纠错能力,再全轨迹优化编码能力),在 ChartMimic 上以仅 7B 参数达到 86.5% low-level score,媲美 Qwen3-VL-235B。


🌐 多语言/翻译 (2)

MMTIT-Bench: A Multilingual and Multi-Scenario Benchmark with Cognition-Perception-Reasoning Guided Text-Image Machine Translation

构建了覆盖 14 种非英非中语言的多语言多场景文字图像翻译基准 MMTIT-Bench,并提出 CPR-Trans 数据范式(认知→感知→翻译推理),在 3B 和 7B 模型上显著提升端到端翻译质量,7B 模型达到与 235B 模型竞争的性能。

SEA-Vision: A Multilingual Benchmark for Document and Scene Text Understanding in Southeast Asia

推出 SEA-Vision 基准,统一评估 11 种东南亚语言的文档解析(15,234 页)与文本中心 VQA(7,496 QA 对),通过重渲染策略消除多语言 VQA 的视觉-文本错位,揭示 MLLM 在低资源东南亚语言上存在 3–7 倍的严重性能退化。


🗣️ 对话系统 (1)

Evolutionary Multimodal Reasoning via Hierarchical Semantic Representation for Intent Recognition

提出 HIER,通过层次语义表示(token→概念→关系三级)结合基于 MLLM 反馈的自进化推理机制,在三个多模态意图识别 benchmark 上一致超越 SOTA 方法和领先 MLLM(1-3% 增益)。


🧩 多模态 VLM (533)

4DP-QA: Scalable QA for 4D Perception in Vision Language Models

本文设计了一条可扩展的时空 QA 自动生成 pipeline,从多种真实/合成 4D 数据源造出 40 万训练样本(4DP-QA)和 2.2K benchmark(4DP-QA-Bench),并提出"真运动点轨迹"(true-motion point tracking)这一新感知任务把物体运动从相机运动中解耦出来;用这套数据微调标准 VLM 后,4D 感知准确率从 ~42% 飙到 ~84%,并能泛化到外部 benchmark VLM4D。

A3: Towards Advertising Aesthetic Assessment

提出A3框架,包含理论驱动的三阶段广告美学评估范式A3-Law(感知注意力→形式兴趣→欲望影响)、12万条标注数据集A3-Dataset、经SFT+GRPO对齐的模型A3-Align以及评测基准A3-Bench,在广告美学自动评估上超越现有MLLM。

A Causal Marriage between VLM and IRM from Understanding to Reasoning

本文从 token 级因果表示出发,证明"词表受限的 InfoNCE"与 IRM 的不变性准则在形式上等价,据此提出无需改架构的中训范式 CLIP-IRM 提升 OOD 理解,并把它的不变对齐分数当作过程级奖励喂给 GRPO,把 IRM 的 OOD 保证一路迁移到多模态推理。

A More Word-like Image Tokenization for MLLMs

DiVT 用一个基于聚类的视觉投影器替换 LLaVA 里的 MLP projector,把 ViT 的 patch 特征按语义聚成"视觉词"、每个簇生成一个 token,token 数量随图像复杂度自适应,仅靠语言建模目标训练;在 8 个多模态 benchmark 上用 1/4 甚至 1/40 的视觉 token 就追平或超过满分辨率基线。

Abstract 3D Perception for Spatial Intelligence in Vision-Language Models

针对 VLM 在 3D 空间推理上的短板,本文提出训练免费的 SandboxVLM:把单张 2D 图通过视频扩散先验补出多视角,再把关键物体抬升成稀疏的「抽象 3D 包围盒」并渲染回喂给 VLM,让 VLM 在零样本下读懂 3D 结构,SAT-Real 上比基线高 17.4%。

Act2See: Emergent Active Visual Perception for Video Reasoning

Act2See 通过监督微调,让视频 VLM 在文本 CoT 推理过程中自己决定何时插入一帧画面——要么从原视频里检索一帧真实证据,要么条件式地"想象生成"一帧反事实画面——从而在 VideoEspresso、ViTIB 等 5 个视频推理基准上刷新或超越同尺寸乃至更大的闭源模型。

Activation Matters: Test-time Activated Negative Labels for OOD Detection with Vision-Language Models

提出 TANL(Test-time Activated Negative Labels),通过在测试时动态评估负标签在OOD样本上的"激活程度"来挖掘最有效的负标签,配合激活感知评分函数,在 ImageNet 基准上将 FPR95 从 17.5% 大幅降至 9.8%,且完全免训练、测试高效。

Active Perceptual Inference: A Corticothalamic-Inspired Dynamic Nested Recurrent Network for Multimodal Sentiment Analysis with Incomplete Data

针对多模态情感分析中"随机帧级缺失"问题,本文把人脑"主动知觉推理"机制搬进网络,提出双层嵌套递归网络 DNRNet:局部回路模拟皮层内的模式补全做模态内自纠错,全局回路模拟皮层-丘脑回路按模态置信度做跨模态加权补全,两路修正信号迭代回灌输入,把"单次前馈被动补全"升级为"多轮主动推理补全",在 MOSI/MOSEI/SIMS 上各缺失率平均涨点 1.5%–2.0%。

AdaptVision: Efficient Vision-Language Models via Adaptive Visual Acquisition

提出 AdaptVision,通过由粗到精的主动视觉机制和强化学习训练,让 VLM 自主决定每个样本所需的最少视觉 token 数量,配合解耦式多轮策略优化 (DTPO) 实现效率与精度的最优平衡。

Addressing Exacerbated Attention Sink for Source-Free Cross-Domain Few-Shot Learning

作者发现:在 source-free 跨域小样本(CDFSL)场景下,标准的目标域少样本微调会显著加剧 CLIP 的 attention sink——模型把注意力都堆到那些天生就和所有类都"沾边"的 simple token 上,丧失类间区分度;为此提出 TIR(Token Importance Recalibration),在 CLIP 视觉编码器的深层之间按 token 与各类文本的"跨类激活程度"(Sum score)线性重加权,压制 sink token、放大判别 token,在四个 CDFSL 基准上刷到新 SOTA。

查看全部533篇「多模态 VLM」论文 →


🎨 图像生成 (449)

2ndMatch: Finetuning Pruned Diffusion Models via Second-Order Jacobian Matching

提出2ndMatch微调框架,通过对齐剪枝模型与原始模型的二阶Jacobian矩阵 \(J^\top J\)(灵感来自有限时间Lyapunov指数),匹配两者对输入扰动的时间敏感性,从而显著缩小剪枝扩散模型与原始模型的生成质量差距。

3D Space as a Scratchpad for Editable Text-to-Image Generation

本文提出把一个可编辑的 3D 场景当作文生图的"空间草稿本":用一组 LLM 智能体把文本 prompt 解析成主体网格、在 3D 里规划摆放/朝向/相机,再用身份保持的深度可控生成把这个 3D 布局渲染成图,在 GenAI-Bench 上文本对齐 免训练提升 32%,且支持在 3D 里改一下就能一致地反映到成图。

4KLSDB: A Large-Scale Dataset for 4K Image Restoration and Generation

这篇论文构建了 4KLSDB——一个含 12.9 万张原生 4K(≥3840×2160,非放大)训练图、覆盖自然/城市/人物/美食/艺术/CGI 等多类别的大规模数据集,通过"几何预筛 → LMM 质量打分 → 边缘纹理过滤 → 人工复检"的多阶段管线把约 39 万候选图压到高质量子集,并配套提供成对 LR/HR 的 4K 超分基准与图文对,实验证明把 SwinIR/MambaIR/Sana 等模型在它上面微调后,4K 超分和 4K 文生图的保真度与感知质量都明显提升。

A Style is Worth One Code: Unlocking Code-to-Style Image Generation with Discrete Style Space

CoTyle 用一个纯数字 code 就能召唤出一种新颖且可复现的视觉风格:先训练一个离散风格码本把图像压成风格索引、再让一个 T2I 扩散模型以这些索引为条件出图,最后训练一个自回归生成器去"凭空造"新的风格索引序列,从而把"一个数字 = 一种风格"这件事在开源社区第一次实现。

A Temporal and Content Co-Awareness Latent Diffusion for Controllable Hand Image Generation

针对"可控手部图像生成里 pose/appearance 控制信号在所有去噪步用固定强度注入"这一痛点,本文提出 TCCA:用一组可学习 query 把噪声潜变量、3D 位姿、外观三类异构特征对齐到统一空间,据此逐时间步动态调整位姿与外观的注入强度,并配一个用 SVD 正交分解去掉位姿伪影的位姿不变外观编码器,在 InterHand2.6M 等数据上 FID/LPIPS/PCK 全面超过 FoundHand。

A Training-Free Style-Personalization via SVD-Based Feature Decomposition

基于尺度自回归模型 Infinity,本文发现生成过程第 3 个特征 \(F_3\)最大奇异值分量专门编码风格信息,于是免训练地用 SVD 把参考图风格注入这一步特征(Principal Feature Blending),再借内容分支的注意力图稳住结构(Structural Attention Correction),在 3.58 秒内做到与微调方法相当的风格保真度,速度快达 195 倍。

Adapter Shield: A Unified Framework with Built-in Authentication for Preventing Unauthorized Zero-Shot Image-to-Image Generation

针对 IP-Adapter / InstantID 这类「一张图就能克隆人脸或画风」的零样本图生图,本文提出 Adapter Shield:先用一对可训练的「加密器/解密器」把图像编码器输出的 embedding 按密码映射成乱码,再用多目标对抗扰动把原图「钉」向这些乱码 embedding,从而让未授权者生成失真结果,而持正确密码的授权者能解密复原正常使用——是该领域第一个把「防护」和「认证」合二为一的通用框架。

Adaptive Auxiliary Prompt Blending for Target-Faithful Diffusion Generation

提出 Adaptive Auxiliary Prompt Blending (AAPB),通过 Tweedie 公式推导闭式自适应混合系数,在每个去噪步动态平衡辅助锚定提示与目标提示的贡献,无需训练即可显著改善稀有概念生成和零样本图像编辑的语义准确性与结构保真度。

Adaptive Spectral Feature Forecasting for Diffusion Sampling Acceleration

提出 Spectrum,一种基于切比雪夫多项式的全局谱域特征预测方法,将扩散模型去噪器的中间特征视为时间函数并用岭回归拟合系数,实现误差不随步长增长的长程特征预测,在 FLUX.1 上达到 4.79× 加速、在 Wan2.1-14B 上达到 4.67× 加速而质量几乎无损。

Agentic Retoucher for Text-To-Image Generation

Agentic Retoucher 将 T2I 生成后的缺陷修复重构为"感知→推理→行动"的人类式闭环决策过程,用三个协作 agent 分别做上下文感知的扭曲检测、人类对齐的诊断推理和自适应局部修复,在 GenBlemish-27K 上 plausibility 提升 2.89 分,83.2% 的结果被人类评为优于原图。

查看全部449篇「图像生成」论文 →


🎬 视频生成 (180)

3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation

3DiMo 把人体运动控制从「依赖外部 SMPL 重建」改成「与视频生成器联合端到端学一套视角无关的隐式运动 token」,靠跨注意力语义注入 + 多视角富数据监督让模型从 2D 驱动帧里恢复真正的 3D 运动,从而在忠实复现动作的同时支持文本自由控制相机视角,运动保真度和画质都显著超过 2D 姿态与 SMPL 基线。

A Frame is Worth One Token: Efficient Generative World Modeling with Delta Tokens

提出 DeltaTok 将连续帧的 VFM 特征差压缩为单个 delta token,配合 Best-of-Many 训练的 DeltaWorld 在单次前向传播中高效生成多样化未来预测,参数量仅为 Cosmos 的 1/35、FLOPs 仅为 1/2000,但在密集预测任务上表现更优。

Accelerating Autoregressive Video Diffusion via History-Guided Cache and Residual Correction

针对自回归视频扩散模型(ARDM)逐段生成时"缓存近似误差会随时间累积放大"这一致命问题,提出训练free的 ARCache:用 History-Guided Cache 根据历史 token 的变化来调度缓存时机(段内抑误差),用 Enhanced Residual Correction 借第一段干净的残差轨迹去校准后续段(段间防漂移),在三个 ARDM 上实现最高 3.13× 加速且画质几乎无损。

Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep

针对带掩码的视频编辑(MV2V)任务,提出训练无关的 HetCache:既在去噪时间步维度按累积变化量把步骤分成"全算/部分算/复用"三档,又在单步内部按掩码空间先验把 token 切成上下文/边缘/生成三类,只对最具语义代表性的上下文 token 做注意力,从而在 Wan2.1-VACE 上拿到 2.67× 加速且画质几乎不掉。

ActivityForensics: A Comprehensive Benchmark for Localizing Manipulated Activity in Videos

首次提出活动级视频伪造定位任务和ActivityForensics大规模基准数据集(6K+伪造片段),通过grounding辅助的自动化数据构造管线制造高度逼真的活动篡改,并提出Temporal Artifact Diffuser (TADiff)基线方法,通过扩散式特征正则化放大伪造线索。

AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation

AdaCluster 是一个训练无关的稀疏注意力框架,针对视频 DiT 中 query 和 key 在注意力里扮演的不同角色,分别用「角度聚类」压缩 query、用「逐层自适应多阶段 K-means」聚类 key,再配合可跑在 Tensor Core 上的 TensorQuest 快速选关键簇,在 CogVideoX-2B / HunyuanVideo / Wan-2.1 上实现 1.67×–4.31× 端到端加速且画质几乎无损(PSNR 最高 30.99)。

AdapTok: Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space

AdapTok 把视频编码成一段时序因果的 1D 离散 token 序列,训练时按块随机丢弃尾部 token 学到"可变长度"表征,再用一个打分器预测"某块用 N 个 token 时的重建质量",推理时用整数线性规划在固定总预算下把 token 按内容复杂度动态分配给不同帧/不同样本,从而在 UCF-101 上用更少 token 拿到 rFVD=28 的重建并显著提升自回归视频生成质量。

Anti-I2V: Safeguarding your photos from malicious image-to-video generation

Anti-I2V 提出了一种针对恶意图像到视频生成的防御方法,通过在 L*a*b* 和频域双空间优化扰动,并设计内部表示崩塌(IRC)和锚定(IRA)损失破坏去噪网络的语义特征传播,在 CogVideoX、DynamiCrafter 和 Open-Sora 三种不同架构上实现 SOTA 防护效果。

Archon: A Unified Multimodal Model for Holistic Digital Human Generation

Archon 把数字人涉及的 7 种模态(描述、文本脚本、语音、3DMM 动画、语义视频、图像、视频)各自离散化成 token,用一个自回归大模型在 72 个任务上预训练,实现任意模态到任意模态的生成/理解/编辑;并通过「语义视频 4× 压缩 token + 语义驱动扩散解码」解决高帧率说话视频的 token 爆炸,通过「Thinking in Modality」把语音→视频这类高歧义任务拆成逐模态中间步以稳住质量。

Are Image-to-Video Models Good Zero-Shot Image Editors?

本文提出 IF-Edit,一个免训练框架,把预训练的图生视频(I2V)扩散模型直接当成零样本图像编辑器:用思维链提示把静态编辑指令改写成"随时间演化"的描述,用时序潜变量丢弃(TLD)砍掉冗余帧加速去噪,再用自一致后精修(SCPR)挑最清晰帧并用模型自身重生成一段"静止视频"提清晰度,在非刚性形变与推理类编辑上表现强劲。

查看全部180篇「视频生成」论文 →


🎵 音频/语音 (32)

AMUSE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding

本文提出 AMUSE——一个面向「多说话人、对话密集」场景的音视频 Benchmark(6 个 agentic 任务 × 零样本/引导/agentic 三种评测模式),揭示了 GPT-4o、Qwen3-Omni 等主流 MLLM 在「谁在说、何时说、跨场景因果」上的系统性短板;并配套提出 RAFT 对齐框架(反思式奖励 + 选择性参数适配),用极少标注就把开源模型在该 Benchmark 上的准确率最高提升 39.52%(相对)。

Audio-sync Video Instance Editing with Granularity-Aware Mask Refiner

AVI-Edit 在预训练视频扩散 backbone 上做"音视频同步的实例级编辑"——用一个粒度感知掩码细化器把用户给的粗糙掩码(甚至是 bounding box)逐步细化成精确实例轮廓,再用一个自反馈音频 Agent(分离-生成-混音-返工流水线)调出与编辑后画面在时序上对齐的伴随音频,在视觉质量、条件遵循和音视频同步上全面超过现有方法。

AudioStory: Generating Long-Form Narrative Audio with Large Language Models

AudioStory 把 LLM 的叙事推理和 DiT 扩散音频生成器拼成一个端到端框架,先让 LLM 把复杂指令拆成带时间戳的子事件、再逐段生成短音频拼成长篇叙事音频,靠"语义 token + 残差 token"两路解耦桥接保证段内对齐与跨段连贯,能稳定生成最长 150 秒的多场景音频故事。

BabyVLM-V2: Toward Developmentally Grounded Pretraining and Benchmarking of Vision Foundation Models

提出BabyVLM-V2框架,从婴儿第一视角的SAYCam纵向语料构建三种格式预训练数据(768K图像对+181K视频对+63K交错序列),设计基于NIH Baby Toolbox®的DevCV Toolbox(10个发育认知任务),从零训练的紧凑模型在部分数学任务上超越GPT-4o,首次系统探索人工发育智能(ADI)。

Cleaning the Pool: Progressive Filtering of Unlabeled Pools in Deep Active Learning

提出 Refine 集成主动学习方法,通过两阶段策略——渐进过滤(多策略迭代精炼无标签池)+ 覆盖选择(从精炼池中选择多样性高价值样本)——在不预知最佳策略的情况下一致超越单一 AL 策略和现有集成方法。

Echoes Over Time: Unlocking Length Generalization in Video-to-Audio Generation Models

提出 MMHNet,一种基于层级结构和非因果 Mamba-2 的多模态层级网络,实现了在短片段(8秒)上训练、在长视频(5分钟以上)上生成高质量对齐音频的长度泛化能力,在 UnAV100 和 LongVale 基准上大幅超越现有方法。

EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation

针对现有视频配音模型「视觉主导、听不懂文本指令、做不了细粒度编辑」的问题,本文提出 EchoFoley 任务(用符号化「发声事件」表示 + 三层控制粒度),配套 6k 规模密标注 benchmark,并设计了 training-free 的 agentic 框架 EchoVidia(slow-fast thinking + 动作池),在可控性上比最强 baseline 提升约 40.7%、感知质量提升 12.5%。

EgoAVU: Egocentric Audio-Visual Understanding

针对"现有 MLLM 在第一人称视频里只看不听、把声音和错误视觉源乱配"的问题,本文提出一个全自动数据引擎 EgoAVU,用模块化开源模型分模态生成音视频叙述、用图结构(MCG)显式建模声-源关系,造出 300 万训练样本(EgoAVU-Instruct)和 3000 条人工核验评测集(EgoAVU-Bench),微调后在自家 benchmark 上最高拿到 113% 的相对提升,并能迁移到其他第一人称基准。

FoleyDesigner: Immersive Stereo Foley Generation with Precise Spatio-Temporal Alignment for Film Clips

FoleyDesigner 模仿专业拟音师的工作流,把无声电影片段拆成分层声音事件、用从视觉追踪里提取的「深度+方位」时空线索驱动 DiT 扩散生成帧级对齐的立体声、再用多智能体后期混音并升混到 5.1 环绕声,在时空对齐与电影级拟音质量上全面超过现有 baseline。

FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts

FoleyDirector 在预训练 DiT 类 V2A 生成器(MMAudio)上挂一个可插拔适配器,用"导演脚本"式的逐秒文本(Structured Temporal Scripts)补足视觉线索、实现按时间段精确控制声音何时出现,并用双流并行渲染画内/画外声,在 DirectorBench 上把控制力 F1 从 0.2451 提到 0.4819,同时几乎不损伤原模型音质。

查看全部32篇「音频/语音」论文 →


🔎 AIGC 检测 (8)

Fine-grained Image Aesthetic Assessment: Learning Discriminative Scores from Relative Ranks

定义"细粒度图像美学评估"新任务,构建含32,217张图像/10,028个系列的FGAesthetics基准,提出FGAesQ模型:通过差异保留Tokenization(DiffToken)+ 对比文本辅助对齐(CTAlign)+ 排序感知回归(RankReg)从相对排序中学习判别性审美评分,在细粒度场景准确率0.779的同时保持粗粒度SRCC 0.770。

FRAME: Forensic Routing and Adaptive Multi-path Evidence Fusion for Image Manipulation Detection

FRAME 把一堆传统取证算法(ELA、DCT、噪声、CFA、copy-move 等)组织成一个"取证 supernet",对每张待检图像用 GNN 预测器挑出最合适的若干条"分析路径"并把它们的证据图融合,从而避免"单一检测器不通用 + 固定融合稀释信号"的老问题,在多个跨域测试集上同时把检测 AUC 和像素级定位刷到优于固定组合和端到端深度模型。

Inconsistency-aware Multimodal Schrodinger Bridge for Deepfake Localization

IaMSB 把音视频深度伪造的「时间区间定位」重新表述成一个薛定谔桥(Schrödinger Bridge)生成问题——用桥的传输代价直接读出跨模态一致性分数,再据此把计算步数非对称地分配给更可疑的那个模态,从而在严格 IoU(AP@0.95)上比现有方法高 3~10%。

Learning Forgery-Aware Lip Representations Without Forgery Priors

针对说话人认证系统被个性化"说话人脸生成"(TFG)伪造攻破的问题,本文提出一个只用真实视频训练、完全不依赖任何伪造样本的检测器:靠真帧混合伪造 + 非对称对比 + 高斯正则把真实唇动特征压成一个紧致球面,把球外一切(伪造和冒名者)当离群点,在 8 种现代伪造、10 个 SOTA 对比下把错误率压低 10% 以上。

Locate-Then-Examine: Grounded Region Reasoning Improves Detection of AI-Generated Images

LTE 让视觉语言模型先"全局扫描定位可疑区域"再"放大裁剪复核给出最终判定",把一次性分类升级为两阶段的区域接地(region-grounded)推理,并配套构建带框级标注与取证解释的 TRACE 数据集,在准确率、鲁棒性和可解释性上同时获得提升。

PPM-CLIP: Probabilistic Prompt Modeling for Generalizable AI-Generated Image Detection

PPM-CLIP 把"判别一条静态决策边界"的 AIGC 检测范式换成"生成式概率推理"——用归一化流为每张图生成一族自适应 prompt(多个假设),再对全部假设的余弦相似度取平均消噪做判定,并配一个频域引导的 patch 对比学习让 CLIP 编码器盯住高频伪造痕迹,在 Ojha / GenImage / DRCT 上的跨生成器泛化显著超过 SOTA。

Quality-Aware Calibration for AI-Generated Image Detection in the Wild

针对同一张图在网络传播中产生的多个画质各异的"近重复版本",本文提出 QuAD:用无参考 IQA 估计每个版本的画质,再用画质作条件对取证检测器的 logit 做高斯校准并加权融合,让低画质版本少说话、高画质版本多说话,平均把六个 SOTA 检测器的平衡准确率提升约 8 个百分点。

ReAlign: Generalizable Image Forgery Detection via Reasoning-Aligned Representation

ReAlign 先用 GRPO 训出一个会"讲理由"的多模态大模型 AIGI-R1,再把它生成的推理文本作为"桥梁",通过对比学习把推理文本空间蒸馏进一个轻量 CLIP 检测器,让小模型同时继承大模型的跨域泛化和语义错误敏感性,推理时只用图像编码器即可,在 AIGCDetectBenchmark / AIGI-Holmes / 自建 UltraSynth-10k 上都拿到 SOTA(mAcc 96.14% / 99.44% / 97.09%)。


🧊 3D 视觉 (623)

240FPS Stereo Vision from Monocular Mixed Spikes

用一台单目脉冲相机把左右两路视图光学混合到同一传感器、并对其中一路做 60 Hz 周期调制,再通过"最小二乘基线解耦 + SMS-Net 深度精修"两阶段,从混合脉冲流里重建出 240FPS 的双目视频,在保持单目硬件紧凑、数据高效的同时把深度估计精度做到接近"理论上界"。

2D-LFM: Lifting Foundation Model without 3D Supervision

只用 2D 关键点(不碰任何 3D 真值),通过在 Transformer 每一层都注入「对应关系位置编码」,训出第一个跨类别的 2D→3D 提升基础模型,在物体级几何上反而超过 VGGT 等依赖 RGB 深度的大模型(Pascal3D+ 8.1mm vs VGGT 89.4mm)。

3D-Aware Multi-Task Learning with Cross-View Correlations for Dense Scene Understanding

给标准多任务学习(MTL)网络挂一条轻量、与任务无关的"几何旁路"——跨视角模块 CvM(空间感知编码器 + 多视角 Transformer + 代价体),把相邻视角之间的几何对应作为几何一致性注入共享特征,让单网络同时预测深度/分割/法向/边界时更"懂 3D",在 NYUv2、PASCAL-Context 上即插即用地涨点(∆MTL 最高 +3.09)。

3D-Fixer: Coarse-to-Fine In-place Completion for 3D Scenes from a Single Image

提出"就地补全"(in-place completion)新范式,将预训练物体级生成先验扩展到场景级,直接在原始位置对碎片化几何进行补全,无需显式位姿对齐,同时构建110K规模场景级数据集 ARSG-110K,大幅超越 MIDI 和 Gen3DSR 等基线。

3D-IDE: 3D Implicit Depth Emergent

提出"隐式几何涌现原则"(IGEP),通过训练时的轻量级几何验证器和全局3D教师进行特权监督,使视觉编码器在仅输入RGB视频时即具备3D感知能力,推理时零延迟开销,在多个3D场景理解基准上超越同类方法。

3D Gaussian Splatting at Arbitrary Resolutions with Compact Proxy Anchors

本文在 Scaffold-GS 的 anchor 框架上,用 FiLM 把"目标分辨率"注入 anchor 特征、再加一个"像素覆盖门"按采样率动态激活高斯,实现连续任意分辨率下的无锯齿渲染;同时只存约 30% 的 proxy anchor、用残差预测器在线重建其余 leaf anchor,把存储压到 Scaffold-GS 的一半左右而质量不降。

3D Gaussian Splatting for Efficient Retrospective Dynamic Scene Novel View Synthesis with a Standardized Benchmark

在体育这类同步多相机采集场景下,作者主张"每一时刻的场景已经被多视角几何约束得很死",因此砍掉动态 3DGS 里常见的时间形变约束,只靠"起始帧 SfM 初始化 + 逐帧 warm-start 链式传播 + 固定高斯预算(不致密化)"就能做到高质量、低显存、可随机回放的回溯式动态新视角合成(NVS),并配套一个 Blender 数据生成 API 把 NeRF/3DGS 的坐标系与数据格式统一成可复现基准。

Nope-SGS:从无位姿脉冲流重建 3D 高斯

本文提出 Nope-SGS,第一个无需相机位姿先验、直接从脉冲相机(spike camera)原始脉冲流重建高速 3D 场景的框架:通过把脉冲成像重新建模成二项分布、从单帧不稳定脉冲里恢复出稳定的归一化监督信号(NBDS),再配合关键帧筛选与渐进式优化,同步求解相机轨迹与 3D 高斯,PSNR 最高比 SOTA 高 7.4dB、ATE 低 40%,且是脉冲方法里最快的。

3D Gaussian Splatting with Self-Constrained Priors for High Fidelity Surface Reconstruction

提出自约束先验(Self-Constrained Prior),通过融合当前3D高斯渲染的深度图构建TSDF距离场,以此为先验对高斯施加几何感知约束(异常值移除、不透明度约束、向表面移动),实现高保真表面重建,在NeRF-Synthetic和DTU上达到SOTA。

3D sans 3D Scans: Scalable Pre-training from Video-Generated Point Clouds

提出LAM3C框架,首次证明从无标注网络视频(房产导览等)重建的视频生成点云(VGPC)可替代真实3D扫描进行3D自监督预训练,通过拉普拉斯平滑损失和噪声一致性损失稳定噪声点云上的表示学习,配合自建RoomTours数据集(49K场景)在室内语义和实例分割上匹配甚至超越使用真实扫描的方法。

查看全部623篇「3D 视觉」论文 →


📹 视频理解 (179)

A Multi-Agent Perception-Action Alliance for Efficient Long Video Reasoning

提出 A4VL,一个无训练的多智能体感知-行动联盟框架,通过事件驱动视频分块、线索引导的关键帧选择和多轮智能体协商剪枝机制,在五个视频问答基准上以显著更低的推理延迟全面超越 28 个基线方法。

Adaptive Capacity Autoregressive Visual Tracking

ARTrack-AC 把自回归跟踪从"固定算力逐帧预测"扩展成"系统级自回归"——用一个轻量扩散轨迹估计器预判未来一小段视频的稳定性,再让控制器在简单段切到低算力并行模式、在困难帧切到高算力顺序模式,从而在 LaSOT 上达到 66.7% AUC 的同时比前作快 2.9 倍。

AdaSpark: Adaptive Sparsity for Efficient Long-Video Understanding

提出 AdaSpark,通过 3D 时空 cube 分区和两个协同的自适应稀疏机制(cube 级注意力选择 + token 级 FFN 选择),将长视频处理 FLOPs 降低最多 57% 同时保持性能。

Affordance-First Decomposition for Continual Learning in Video–Language Understanding

针对视频-语言持续学习中"什么该稳定、什么该可塑"边界模糊的问题,本文提出 Affordance-First Decomposition(AFD):把视频映射成缓变的 affordance token 作为跨任务共享、稳定的"证据底座",把可塑性集中到一个按 query 路由、按冲突长秩的 LoRA 调度器里,并用仅存储问题(不存视频)的回放蒸馏来防遗忘,在 ViLCo-Bench、domain/time-incremental VideoQA 上同时拿到更高准确率与更低遗忘。

Alert-CLIP: Abnormality-aware Latent-Enhanced Representation Tuning of CLIP for Video Anomaly Detection

针对 CLIP 在文本空间里把"正常"和"异常"描述高度纠缠、导致视频对两类 prompt 给出几乎一样相似度的问题,本文用全局/区域/难负样本三级跨模态对比训练(配套自建的带框标注数据集 VAGTA)重塑 CLIP 的嵌入几何,让它成为异常感知更强的 backbone,在弱监督、零样本、开放词表三种 VAD 设定下都稳定超过原始 CLIP。

An Efficient Token Compression Framework for Visual Object Tracking

针对多帧模板跟踪中视觉 token 爆炸又冗余的问题,ETCTrack 用一个可学习的自适应 token 压缩器(ATC)先把历史模板帧压成精炼子集、再用层级交互块(HIBlock)与搜索区域深度交互,在 7 个跟踪基准上同时刷新精度并降低计算量(模板 token 减 60%、MACs 减 21.4%,精度仅掉 0.4%)。

An Empirical Study on How Video-LLMs Answer Video Questions

这篇论文用"注意力 knockout"系统性地解剖了 Video-LLM 回答视频问题的内部机制,发现它们存在清晰的"前层感知、后层推理"两阶段模式、时空建模主要靠语言→视频的检索而非帧内/帧间视频自注意力、且只有少数中间层是关键层,并据此设计了一个简单的视觉 token 早退 + 时序注意力裁剪策略大幅省算力而几乎不掉点。

Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing

提出 AutoGaze,一个仅 3M 参数的轻量模块,在 ViT 之前自回归选择最少的多尺度 patch 集合以重建视频,去除 4×-100× 时空冗余,实现 ViT 最高 19× / MLLM 最高 10× 加速,首次使 MLLM 可扩展到 1K 帧 4K 分辨率视频,在 VideoMME 上达到 67.0%。

Beyond Caption-Based Queries in Video Moment Retrieval

本文指出现有视频时刻检索(VMR)模型在「描述式 caption 查询」上训练、却在「真实搜索查询」上崩盘,根因是 DETR 解码器查询坍缩到只有 4 个活跃;通过构建三个搜索查询基准 + 去掉解码器自注意力 + 查询 dropout 两处架构改动,在搜索查询上把 mAPm 最高提升 14.82%、多瞬间查询上提升 21.83%。

Beyond Explicit Language: Plug-and-Play Visual-to-Linguistic Modeling Toward General Object Tracking

针对视觉-语言跟踪依赖静态文本、缺文本即失效的痛点,本文提出一个即插即用模块 TIMI:用"文本反演模块"把模板和搜索区域的视觉 patch 反向映射成 CLIP 文本嵌入空间里的伪描述(pseudo-description),再通过"多层语义注入机制"把这些隐式语言线索逐层注回视觉骨干,从而无需任何显式文本输入就能为跟踪提供动态自适应的语义引导,在 MCITrack/DUTrack/SeqTrack 等多个跟踪器上以极小开销稳定涨点。

查看全部179篇「视频理解」论文 →


🧑 人体理解 (174)

A Two-Stage Dual-Modality Model for Facial Expression Recognition

提出两阶段双模态面部表情识别框架:Stage I 通过填充感知增强和训练期 MoE 头在外部数据集上适配 DINOv2 编码器;Stage II 通过多尺度面部裁剪、Wav2Vec 2.0 音频特征提取和门控融合实现帧级音视觉表情分类,在 ABAW 2026 竞赛中取得 0.5368 Macro-F1。

ActAvatar: Temporally-Aware Precise Action Control for Talking Avatars

ActAvatar 用「结构化文本提示 + 相位感知跨注意力」让说话人视频在指定时间窗口精确做出指定动作,再配合「按层深递增的音频影响」和「两阶段训练」,在不依赖姿态骨架的前提下同时保住唇音同步、动作准确度和画质,5B 模型达到 14B 级效果。

Active Inference for Micro-Gesture Recognition: EFE-Guided Temporal Sampling and Adaptive Learning

提出 UAAI 框架,首次将主动推理(Active Inference)引入微手势识别,通过 EFE 引导的时间帧选择 + 空间注意力 + UMIX不确定性感知增强,在SMG数据集RGB模态上达到63.47%,大幅超越传统RGB方法。

Active Intelligence in Video Avatars via Closed-loop World Modeling

针对当前视频数字人"只会被动跟随语音/姿态、缺乏自主目标驱动"的问题,本文提出 L-IVA 任务(把数字人控制建模成以 I2V 生成模型为环境模拟器的 POMDP)和 ORCA 框架——用「观察-思考-行动-反思」(OTAR) 闭环对抗生成随机性、用 System 2/System 1 双系统分层完成开放域规划与精确落地,在 100 个任务的基准上把平均任务成功率做到 71.0%,显著超过开环、反应式与无反思基线。

All in One: Unifying Deepfake Detection, Tampering Localization, and Source Tracing with a Robust Landmark-Identity Watermark

提出 LIDMark,首个将 deepfake 检测、篡改区域定位和源追踪统一到单一主动取证框架中的方法——通过嵌入 152 维 Landmark-Identity 水印(136D 面部关键点 + 16D 源 ID),利用内在/外在一致性实现三合一取证,PSNR/SSIM 和检测精度均超越现有方法。

Anatomical Domain Shifts: Test-time Heterogeneous Adaptation for 3D Human Pose Prediction

针对 3D 人体姿态预测的持续测试时自适应(CTTA),本文指出"域漂移其实集中在个别身体部位、而非全身均匀发生"这一被忽视的事实,提出 TT-HA:把模型参数按左右臂、左右腿、躯干拆成五个解剖学子集,用 IN 统计量 + EMD 在线度量每个部位的域变化,再据此对小漂移部位做自监督微调、对突变部位只回滚该部位参数到源模型,从而在全身 MPJPE 降 4.7% 的同时让四肢误差多降 9.2%。

ARMFlow: AutoRegressive MeanFlow for Online 3D Human Reaction Generation

把"单步生成"的 MeanFlow 范式首次引入人体动作领域,用一个"因果上下文编码器 + 轻量 MLP 速度预测器"的自回归结构,配合自举历史训练(BSCE)抑制误差累积,让在线 3D 人体反应生成在单次推理内完成,FID 比已有在线方法降约 30%,速度还最快。

AssistMimic: Physics-Grounded Humanoid Assistance via Multi-Agent RL

首个在物理仿真中实现接触式人-人辅助行为模仿学习的多智能体RL框架,通过运动先验初始化、动态参考重定向和接触促进奖励使MARL在高接触设置中可行。

AudioAvatar: Personalized Audio-driven Whole-body Talking Avatars

AudioAvatar 用一张人像照片重建一个 canonical 的 3D 高斯全身数字人,并让音频直接调制每个高斯粒子的运动轨迹(跳过"音频→参数化姿态→渲染"这条有损中间链),再借大型音频驱动视频扩散模型做特征蒸馏,从而在嘴形同步、面部微表情和手势自然度上全面超过姿态驱动的基线。

Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation

把"说话人头像生成"从单向播报升级成真正的双向对话:用因果 diffusion forcing 在运动隐空间里边收用户音频/动作、边自回归生成 avatar 头部运动,配合 KV cache 把延迟压到约 500ms(比基线快 6.8×),再用"丢掉用户条件造负样本"的免标注 DPO 让 avatar 学会点头、跟笑等富有表现力的反应,人类评测中超 80% 偏好率胜过最强基线。

查看全部174篇「人体理解」论文 →


✂️ 语义分割 (162)

3M-TI: High-Quality Mobile Thermal Imaging via Calibration-free Multi-Camera Cross-Modal Diffusion

提出 3M-TI,一个无需标定的多相机跨模态扩散框架,通过在 VAE 潜空间中用跨模态自注意力(CSM)自动对齐并融合未标定的 RGB-热红外图像对,结合错位增强策略,在移动端热成像超分辨率任务上达到 SOTA,并显著提升下游目标检测与语义分割性能。

A Mixed Diet Makes DINO An Omnivorous Vision Encoder

提出 Omnivorous Vision Encoder,通过轻量级 adapter 在冻结的 DINOv2 之上进行跨模态对齐蒸馏训练(RGB/Depth/Segmentation),使单一编码器对不同视觉模态产生一致嵌入,同时保留原始判别语义。

AG-VAS: Anchor-Guided Zero-Shot Visual Anomaly Segmentation with Large Multimodal Models

AG-VAS 给大多模态模型(LMM)的词表里塞进三个可学习的"语义锚点"token——绝对锚点 [SEG] 把抽象的"异常"翻译成"洞/划痕"这样的具体视觉实体,相对锚点 [NOR]/[ANO] 建模正常 vs 异常的上下文对比——再配合语义-像素对齐模块(SPAM)和锚点引导掩码解码器(AGMD),让模型在未见类别上直接吐出二值异常掩码,在 6 个工业/医学基准上零样本刷到 SOTA。

Annotation-Efficient Coreset Selection for Context-dependent Segmentation

针对伪装目标、医学病灶等"上下文相关"分割任务标注极贵的问题,本文用基于点标注的最优传输给每张图打"重要性分",再用最大距离熵策略挑出兼顾覆盖与多样的核心集(CostSet),在 40% 剪枝率下相对全量训练仅掉约 1% IoU。

B³-Seg: Camera-Free, Training-Free 3DGS Segmentation via Analytic EIG and Beta-Bernoulli Bayesian Updates

B³-Seg 把"在一份现成 3DGS 资产上分割指定物体"这件事重写成一串 Beta-Bernoulli 贝叶斯更新,并用解析形式的期望信息增益(EIG)主动挑下一个最有信息量的相机视角,做到无相机轨迹、无训练、开放词汇、几秒出结果,精度可逼近耗时几十分钟的监督方法。

Bayesian Decomposition and Semantic Completion for Few-shot Semantic Segmentation

把小样本语义分割(FSS)按贝叶斯公式拆成「先验 + 似然 + 类一致性」三个轻量概率项,用 SAM 出结构化候选区、用一个二分类小网络(CALM)同时估似然与一致性、再用注意力补全模块(SCM)把碎片候选拼成完整 mask,在 PASCAL-5\(^i\) / COCO-20\(^i\) 上做到 SOTA 且高效。

Beyond Appearance: Camouflaged Object Detection via Geometric Structure

DepthSAM 把单目深度估计基础模型 Depth Anything v2 适配到伪装目标检测:冻结主干,用稀疏 MoE 适配器(SMEA)把"重建整个场景的几何"扭转成"只突出伪装目标的几何",再用空间-频域双流融合模块(GSFM)把几何线索和语义对齐,在 COD10K/CAMO/NC4K 三个基准上刷新 SOTA(COD10K 的 \(S_\alpha\)\(F^\omega_\beta\) 比次优分别高 3.0%、4.3%)。

Beyond Text: Visual Description Assembly by Probabilistic Model for CLIP-based Weakly Supervised Semantic Segmentation

针对 CLIP-based 弱监督分割中"文本原型与视觉特征存在模态鸿沟、且静态文本无法适配多样实例"的问题,本文用可逆神经网络把 CLIP 视觉特征建模成层级高斯混合模型,从视觉空间里显式解耦出类内属性、按实例响应动态组装成视觉描述原型替代文本查询,并用密度权重自适应回退到文本锚点,在 VOC/COCO 上把单阶段 WSSS 刷到 79.9%/51.4% mIoU 的新 SOTA。

BiPA: Bilevel Prompt Adaptation for Underwater Instance Segmentation

BiPA 把 SAM 的 dense prompt 学习重新表述为一个「prompt 在上层、模型参数在下层」的双层优化问题,再用贝叶斯优化 + 两阶段训练策略把它做成可解,配上一个前景注意力注入模块补局部细节,从而把通用 SAM 高效迁移到严重退化的水下场景,在 UIIS / USIS10K 上 mAP 全面超过此前 SOTA。

AFRO: Bootstrap Dynamic-Aware 3D Visual Representation for Scalable Robot Learning

提出AFRO自监督3D视觉预训练框架,通过逆动力学模型(IDM)推断潜在动作、扩散Transformer前向动力学模型(FDM)预测未来特征、逆一致性约束保证时序对称性,在RH20T大规模数据上预训练后,MetaWorld 14任务平均成功率76.0%(vs DynaMo-3D 64.9%、PointMAE 63.9%),4个real-world任务也取得最优。

查看全部162篇「语义分割」论文 →


🖼️ 图像恢复 (132)

2-Shots in the Dark: Low-Light Denoising with Minimal Data Acquisition

这篇论文提出一种"两张图就够"的传感器噪声合成方法——每个 ISO 只需一张噪声图 + 一张暗帧,用傅里叶域随机相位采样把信号无关噪声当作纹理来合成,配合迭代直方图匹配修正边缘分布,从而无需大规模配对数据就能生成无限多样的训练对,让去噪网络在多个低光基准上达到物理类方法的 SOTA。

AceTone: Bridging Words and Colors for Conditional Image Grading

提出AceTone,首个支持文本和参考图像多模态条件色彩调色的统一框架,通过VQ-VAE将3D-LUT压缩为64个离散token,训练VLM预测LUT token序列,再用GRPO强化学习对齐色彩相似度和美学偏好,在风格迁移和指令调色上LPIPS改善50%。

AE2VID: Event-based Video Reconstruction via Aperture Modulation

针对事件相机视频重建只靠稀疏运动事件、静态区域和误差累积难以恢复的痛点,本文主动周期性开合光圈,让事件相机在静态区域也"被动触发"出密集事件,由此解析出密集强度参考图,再用双子网络(AENet 处理光圈事件、MENet 双向融合运动事件)重建出高速高动态范围视频,在 EvAid 上 MSE 较 SOTA 降低 27.4%。

Beyond Ground-Truth: Leveraging Image Quality Priors for Real-World Image Restoration

提出IQPIR框架,引入预训练NR-IQA模型的图像质量先验(IQP)作为条件信号,通过质量条件化Transformer、双Codebook结构和离散表示空间质量优化三个机制,引导图像修复过程趋向最高感知质量,在盲人脸修复等任务上全面超越SOTA。

Beyond Single Solution: Multi-Hypothesis Collaborative Deep Unfolding Network for Image Compressive Sensing

针对压缩感知(CS)问题"欠定、解不唯一"的本质,本文提出 MHC-DUN:把传统深度展开网络(DUN)里"只重建一个解"的范式扩展成"同时重建 \(T\) 个假设解并让它们协同优化",在梯度下降步用 AlphaNet 给每个假设预测逐像素自适应步长、在近端映射步用 MHCB 挖掘假设间相关性融合,在 Set11/Urban100/CS-MRI 上全面超过现有 SOTA(Set11 平均 PSNR 比 USB-Net 高 0.45 dB)。

Beyond Strict Pairing: Arbitrarily Paired Training for High-Performance Infrared and Visible Image Fusion

本文挑战红外可见光图像融合(IVIF)必须用"严格对齐配对数据"训练的惯例,提出任意配对训练范式(APTP)——把 \(N\) 对基础数据自由重组成 \(N^2\) 个跨模态对,配上一套自适应加权的像素级自监督损失,在仅 150 对、内容不一致的数据上训练,就能逼近用 100 倍数据严格配对训练的融合性能。

Beyond the Ground Truth: Enhanced Supervision for Image Restoration

提出通过超分辨率+频域自适应混合来增强现有数据集中次优GT图像的感知质量,并训练轻量级ORNet精修模块,无需修改预训练修复模型即可提升输出的感知质量。

BHCast: Unlocking Black Hole Plasma Dynamics from a Single Blurry Image with Long-Term Forecasting

BHCast从单张模糊的EHT黑洞图像出发,通过U-Net动力学代理模型进行超分辨率+长期自回归预测(100步稳定),从预测的等离子体动力学中提取物理特征(旋转速度、螺旋角等),再通过XGBoost推断黑洞自旋和倾角,在真实M87*观测图像上也展示了有效性。

Bi-Bridge: Bidirectional Diffusion Bridges for Low-Light Image Enhancement

把"低光→正常光"的增强和"正常光→低光"的退化塞进同一个对称扩散桥里、用一张共享 U-Net 同时学,靠这个双向一致性约束当隐式正则,让低光增强在保真度(PSNR/LPIPS)上显著超过现有 SOTA。

BiEvLight: Bi-level Learning of Task-Aware Event Refinement for Low-Light Image Enhancement

针对事件相机辅助低光增强中"事件流被 BA 噪声污染、去噪与增强割裂"的痛点,BiEvLight 把事件去噪从静态预处理改写成受增强任务约束的双层优化问题,让下层增强的增益反馈去校准上层去噪,再配一个用图像梯度引导的空间自适应去噪先验,在真实噪声数据集 SDE 上平均涨 1.30dB PSNR / 0.047 SSIM。

查看全部132篇「图像恢复」论文 →


🎯 目标检测 (118)

A Closer Look at Cross-Domain Few-Shot Object Detection: Fine-Tuning Matters and Parallel Decoder Helps

提出混合集成解码器(HED)和渐进微调策略用于跨域少样本目标检测,通过并行化部分解码层并随机初始化去噪查询引入预测多样性,在CD-FSOD/ODinW-13/RF100-VL三个基准上达到SOTA,不引入额外参数。

A Semantically Disentangled Unified Model for Multi-category 3D Anomaly Detection

提出 SeDiR 框架,通过粗到细全局标记化(CFGT)、类别条件对比学习(C3L)和几何引导解码器(GGD)三个模块实现语义解纠缠的统一3D异常检测,解决跨类别特征纠缠(ICE)问题,在 Real3D-AD 和 Anomaly-ShapeNet 上分别超出SOTA 2.8% 和 9.1% AUROC。

ADSeeker: A Knowledge-Grounded Reasoning Framework for Industry Anomaly Detection and Reasoning

ADSeeker 是一个免大规模预训练、即插即用的工业异常检测(IAD)助手:用首个视觉文档知识库 SEEK-M&V + 多模态检索框架 Q2K RAG 给通用 MLLM 注入异常领域知识,再配合 AD Expert 把缺陷定位/判别信息融进视觉 token、用层级稀疏提示(HSP)提取 type-level 缺陷特征,在 12 个工业/医学数据集的零样本异常检测和 MMAD 异常推理上都拿到 SOTA。

AKCMamba-YOLO: Selective State Space Models For Real-Time Object Detection

本文把选择性状态空间模型(Mamba/SSM)和自适应核卷积塞进 YOLOv8,用 3CAKCMamba / 4CAKCMamba 两个模块替换主干和颈部的 C2f 块,在保持 YOLO 线性复杂度、实时速度的同时补上卷积"看不远"的短板,COCO2017 上以 14.9G FLOPs 拿到 46.3% mAP(比 YOLOv8-S 高 1.4%、FLOPs 省 47.9%)。

Anomaly-Related Residual Fields for Cross-domain Anomaly Detection

针对扩散模型残差里"噪声大、单看幅值无法区分异常"的难题,本文提出残差演化场(REF):从扩散反向过程的残差时空轨迹中分离出"持续不被吸收的非平稳异常信号",再用跨域场对齐(CFA)把有标签源域学到的检测器迁移到无标签目标域,在 9 个跨域迁移任务上平均 AUROC 95.22%,比最强基线高 13 个百分点。

AnomalyVFM -- Transforming Vision Foundation Models into Zero-Shot Anomaly Detectors

AnomalyVFM 提出了一个通用框架,通过三阶段合成数据生成方案和参数高效的 LoRA 适配机制,将任意视觉基础模型(VFM)转化为强零样本异常检测器,以 RADIO 为骨干在 9 个工业数据集上达到 94.1% 图像级 AUROC,超越 SOTA 3.3 个百分点。

AR²-4FV: Anchored Referring and Re-identification for Long-Term Grounding in Fixed-View Videos

利用固定视角视频中背景结构的时不变性,构建离线 Anchor Bank + 在线 Anchor Map 作为语言-场景持久记忆,配合锚点引导的重入先验和 ReID-Gating 身份验证机制,实现目标遮挡/离场后的鲁棒重捕获,RCR 提升 10.3%、RCL 降低 24.2%。

Back to Point: Exploring Point-Language Models for Zero-Shot 3D Anomaly Detection

BTP 首次将预训练的点-语言模型(PLM,如 ULIP)应用于零样本 3D 异常检测,提出多粒度特征嵌入模块(MGFEM)融合 patch 级语义、几何描述子和全局 CLS token,配合联合表示学习策略,在 Real3D-AD 点级 AUROC 达到 84.5%,大幅超越观 VLM 渲染方案的 PointAD(73.5%)。

Balanced Hierarchical Contrastive Learning with Decoupled Queries for Fine-grained Object Detection in Remote Sensing Images

本文把遥感细粒度检测中的层级标签树嵌入 DETR 的表征空间,提出一个用可学习类原型做梯度均衡的「平衡层级对比损失」(BHCL),再配一个把分类/定位 query 解耦的策略,让对比学习只作用于分类分支而不干扰定位,在三个层级标注的遥感数据集上刷到新 SOTA。

BDNet: Bio-Inspired Dual-Backbone Small Object Detection Network

BDNet 模仿人类视觉系统的 LGN/V1–V2–V4 颜色通路和 V1–V4 边缘通路,搭了一个「颜色增强 + 边缘强化 + 分层融合」的双骨干检测网络,专门补救遥感小目标"颜色对比度低、边缘模糊"导致的特征提取不足,在 VisDrone2019、NWPU VHR-10、AI-TODv2 三个数据集上用仅 2.59M 参数刷到了 SOTA。

查看全部118篇「目标检测」论文 →


🛰️ 遥感 (67)

ACPV-Net: All-Class Polygonal Vectorization for Seamless Vector Map Generation from Aerial Imagery

提出 ACPV-Net,首个从航空影像一次性生成拓扑一致的全类别多边形矢量地图的框架,通过语义监督条件化扩散模型生成顶点热图,并借助命题驱动的 PSLG 重建确保零间隙/零重叠。

APEX: A Decoupled Memory-based Explorer for Asynchronous Aerial Object Goal Navigation

APEX 把"无人机找目标物"这个空中目标导航任务拆成三个解耦模块——用 MLLM 动态构建 3D 时空语义地图当记忆、用 PPO 强化学习把地图翻译成动作、用开放词表检测器做最后的目标确认——再用异步并行框架让三者以不同频率同时跑,从而绕开大模型推理延迟,在 UAV-ON benchmark 上比之前 SOTA 提升 +4.2% SR 和 +2.8% SPL。

AVION: Aerial Vision-Language Instruction from Offline Teacher to Prompt-Tuned Network

AVION 提出一种知识蒸馏框架,通过 LLM 生成语义丰富的遥感文本原型作为 Teacher 监督、同时在 Student 的视觉和文本编码器中注入可学习 prompt,实现三维度对齐蒸馏,在少样本分类和跨模态检索上显著优于现有 PEFT 方法。

Beyond Endpoints: Path-Centric Reasoning for Vectorized Off-Road Network Extraction

针对城市道路模型在荒野/越野场景里频繁断裂、连错的问题,本文提出"路径中心"(path-centric)的连通性推理:不再只看两个端点的局部特征,而是沿候选边的整条测地线采样多尺度道路证据来判断该不该连边,并配套发布了首个跨洲际的矢量越野道路数据集 WildRoad,在越野基准上达到 SOTA,同时泛化到城市数据集。

Beyond Matching to Tiles: Bridging Unaligned Aerial and Satellite Views for Vision-Only UAV Navigation

Bearing-UAV 抛弃"把无人机视图匹配到某个卫星瓦片"的范式,改用相邻 4 个卫星瓦片 + 1 个无人机视图直接回归无人机的绝对坐标与航向角,在 misalignment、特征稀疏、跨视角差异下都比检索/匹配类方法误差小一个量级(UAV 视角 MLE 从 ~30 m 降到 8.6 m),并把航向预测接进端到端导航。

Beyond Tie Points: Satellite Image Block Adjustment based on Dense Feature Consistency

针对卫星影像区域网平差(PBA)长期依赖稀疏连接点、在高楼等高视差区域误差累积的痛点,本文提出"Beyond Tie Points"范式:用预训练特征提取器抽取密集特征与置信度图,把平差直接重构成"最小化同名物方点的密集特征距离"的自监督优化问题,再配合网格化由粗到精求解,在北京/广州/圣何塞三地数据上把平均误差最多降低 75.43%。

CF-IPT: Cross-Modal Fusion Interactive Prompt Tuning of Vision-Language Pre-Trained Model for Multisource Remote Sensing Data Classification

CF-IPT 用一套"先把高光谱+LiDAR/SAR 融成一张图并生成光谱-空间提示矩阵、再用这些提示矩阵引导 CLIP 视觉/文本两支提示双向交互对齐"的提示微调框架,只动 CLIP 0.76% 的参数就把在自然图上预训练的 CLIP 迁移到多源遥感联合分类,在 Houston/MUUFL/Augsburg 上 OA 分别比 SOTA 高 1.38%/2.27%/1.38%。

Cross-modal Fuzzy Alignment Network for Text-Aerial Person Retrieval and A Large-scale Benchmark

提出跨模态模糊对齐网络 CFAN,利用模糊逻辑量化 token 级可靠性实现精细对齐,并引入地面视图作为桥接代理缓解航拍图像与文本的语义鸿沟,同时构建了大规模文本-航拍行人检索基准 AERI-PEDES。

Cross-Scale Pansharpening via ScaleFormer and the PanScale Benchmark

提出首个跨尺度全色锐化数据集PanScale和评测基准PanScale-Bench,以及ScaleFormer框架——将分辨率变化重新解释为序列长度变化,通过Scale-Aware Patchify分桶采样+解耦空间-序列建模+RoPE实现跨尺度泛化。

CrossEarth-Gate: Fisher-Guided Adaptive Tuning Engine for Efficient Adaptation of Cross-Domain Remote Sensing Semantic Segmentation

针对遥感影像里同时存在的空间、语义、频率三类域差异,CrossEarth-Gate 把对应的三种 PEFT 模块(LoRA / Adapter / Earth-Adapter)做成一个"工具箱"塞进 backbone 的每一层,再用 Fisher 信息周期性地度量每个模块对任务梯度流的贡献、只激活最关键的 Top-k 个,从而在仅 3~4M 可训参数下,在 18 个遥感跨域分割基准上拿下 16 个 SOTA。

查看全部67篇「遥感」论文 →


🔍 异常检测 (2)

Anomaly as Non-Conformity via Training-Free Graph Laplacian Energy Minimization

ANoCo 把异常检测从"这个 patch 像不像正常的"重新定义成"把这个 patch 拉回正常流形要花多大代价",用一个锚定的二部图 Laplacian 能量最小化把每个查询 patch 往正常流形上拉,拉动的位移幅度本身就是异常分——无需训练、无消息传递、闭式解,在 MVTec-AD / VisA 的 1/2/4-shot 上全面刷新 SOTA。

LayoutAD: Exploring Semantic-Geometric Misalignment Reasoning for Scene Layout Anomaly Detection

LayoutAD 提出"场景布局异常检测"这一新任务,用无监督方式给图像里每个物体打出对象级异常分——它把场景拆成语义图与几何图,通过跨图注意力推理两者之间的"错配",从而发现诸如"五条腿的狗""停在湖面上的车"这类像素级检测器看不见的布局级幻觉。


🚗 自动驾驶 (160)

A Prediction-as-Perception Framework for 3D Object Detection

受人脑"预测性感知"机制启发,提出 PAP 框架——将历史帧的轨迹预测结果作为 query 注入当前帧的感知模块,在 UniAD 上实现跟踪精度提升 10%、推理速度提升 15%。

A Self-Conditioned Representation Guided Diffusion Model for Realistic Text-to-LiDAR Scene Generation

T2LDM 用一个训练时辅助、推理时丢弃的"引导网络"给去噪网络注入几何重建监督(SCRG),再加一个方向位置编码(DPE)纠正环形投影带来的街道扭曲,在 Text-LiDAR 配对极度稀缺的条件下也能生成结构精细、可控的 LiDAR 场景,并配套提出可控性 benchmark T2nuScenes 和 TBR 指标。

ActiveAD: Planning-Oriented Active Learning for End-to-End Autonomous Driving

ActiveAD 为端到端自动驾驶设计了一套"规划导向"的主动学习策略:用几乎免费的元信息(天气/光照/驾驶指令/车速)做多样性初始化解决冷启动,再用位移误差、软碰撞、Agent 不确定性三个免标注准则挑出最该标的场景,只标 30% 数据就在 nuScenes 开环和 CARLA 闭环上追平用 100% 数据训练的 SOTA。

AdaRadar: Rate Adaptive Spectral Compression for Radar-based Perception

提出 AdaRadar——基于 DCT 频谱剪枝与零阶代理梯度的在线自适应雷达数据压缩框架,在 100× 以上压缩率下仅损失 ~1%p 检测/分割性能,有效缓解雷达传感器到计算端的带宽瓶颈。

AMap: Distilling Future Priors for Ahead-Aware Online HD Map Construction

AMap 指出现有时序高精地图方法「只增强已驶过的后方、对关键的前方道路几乎无改善」这一安全隐患,提出「从未来蒸馏」范式——用能看到未来帧的教师隐式地把前向先验灌进只看当前帧的轻量学生,在零推理开销下显著提升前向(A-mAP)建图精度。

An Instance-Centric Panoptic Occupancy Prediction Benchmark for Autonomous Driving

提出ADMesh(15K+高质量3D模型库)和CarlaOcc(10万帧、0.05m精度的全景占据数据集),首次为自动驾驶3D全景占据预测提供实例级标注和物理一致的地面真值,并引入占据质量评估指标和系统基准测试。

BEV-CAR: Enhancing Monocular Bird's Eye View Segmentation with Context-Aware Rasterization

BEV-CAR 用一个「训练时才开、推理时移除」的上下文光栅化机制,把解码器输出沿视线方向重排成一条条射线、按 Bresenham 算法离散采样后逐射线监督,再叠加深度+全局双分支 BEV 特征融合,在 nuScenes(mIoU 31.5%)和 Argoverse(29.9%)上拿到 SOTA,且推理零额外开销、43.1 FPS 实时。

BEV-SLD: Self-Supervised Scene Landmark Detection for Global Localization with LiDAR Bird's-Eye View Images

提出BEV-SLD,一种基于自监督场景地标检测(Scene Landmark Detection)的LiDAR全局定位方法,将检测与对应关系预测解耦,仅需20MB即可在多种场景下实现高精度(x, y, azimuth)位姿估计。

Beyond Rule-Based Agents: Active Markov Games for Realistic Multi-Agent Interaction in Autonomous Driving

把驾驶环境建模成"状态转移和奖励都依赖各智能体当前策略"的主动马尔可夫博弈(AMG),再用多智能体协同进化训练让自车策略和一池子风格各异的对手策略互相博弈、共同进化,从而在 CARLA 无信号灯路口和长尾场景里学到鲁棒的交互式决策,碰撞率压到 0.02、成功率到 98%。

The Blind Spot of Adaptation: Quantifying and Mitigating Forgetting in Fine-tuned Driving Models

系统研究 VLM 微调到自动驾驶场景时的灾难性遗忘问题,构建 180K 场景大规模基准 FidelityDrivingBench,并提出 Drive Expert Adapter (DEA) 通过提示空间路由在不腐蚀基础参数的前提下增强驾驶任务性能。

查看全部160篇「自动驾驶」论文 →


🤖 机器人/具身智能 (149)

A Cross-view Fusion Framework for Robust 6-DoF Grasp Pose Estimation

针对单视角点云在「角落视角(corner view)」因遮挡丢失几何信息、导致 6-DoF 抓取不稳的问题,本文用机械臂顺手多看一眼的辅助视角后融合(post-fusion)——用自监督对比学习把跨视角点特征拉成「空间一致 + 方向可辨」,再用一个「跨视角对齐圆柱积分」模块在抓取相关的圆柱邻域里融合两视角几何,在 GraspNet-1Billion 上 Seen 分割 AP 达 74.08(RealSense,+3.55),真实机械臂清桌成功率 96%。

ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models

把 VLA 的"中间推理"从语言子任务或目标图像换成动作空间里的粗粒度参考动作序列(Action Chain-of-Thought),用一个显式动作推理器生成参考轨迹、一个隐式动作推理器从 VLM 的 KV cache 里抽动作先验,两路共同给动作头做条件,在 LIBERO/LIBERO-Plus/VLABench 三个仿真基准和真机上都刷到 SOTA。

Action-Sketcher: From Reasoning to Action via Visual Sketches for Robotic Manipulation

本文提出 Action-Sketcher:让 VLA 模型在"看-想-画-做"(See-Think-Sketch-Act)循环里,先把空间意图画成一张由点、框、箭头组成的视觉草图(Visual Sketch)作为人可读、可改的中间表示,再据此生成动作;在长程、杂乱、指代模糊的真实操作任务上显著超过 π0.5、OpenVLA-OFT 等强基线,且草图允许人在回路里直接修改来进一步把成功率拉高。

ActiveGrasp: Information-Guided Active Grasping with Calibrated Energy-based Model

针对杂乱场景下机器人靠有限视角难以抓准目标的问题,ActiveGrasp 用一个校准过的能量模型直接在 SE(3) 流形上建模抓取分布,把"下一最佳视角"的信息增益定义为抓取成功熵的下降量,从而把机器人引导到"抓取最不确定"的区域,在仿真和真机上以更少视角预算取得最高成功率(仿真 79% SR)。

ActiveVLA: Injecting Active Perception into Vision-Language-Action Models for Precise 3D Robotic Manipulation

ActiveVLA 给 3D 视觉-语言-动作(VLA)模型加上「主动感知」:先用多视角正交投影+热图定位 3D 关键区域,再围绕该区域主动挑选最优虚拟相机视角、并对关键区做虚拟 Zoom-in 提分辨率,从而在遮挡和精细操作场景下显著提升成功率(RLBench 平均 91.8%)。

AdaDexTrack: Dynamic Modulation for Adaptive and Generalizable Dexterous Manipulation Tracking

AdaDexTrack 把"语言指令 → 灵巧手物交互"重新定义为可调制的跟踪:用一个蒸馏出来的通用跟踪器当"技能载体",再在反馈环里塞一个 RL 训练的调制器,从「参考轨迹 / 物体隐变量 / 位置目标」三个接口实时纠偏,从而把含噪的文本生成参考稳定地执行成长程、抗漂移的操作,并实现零样本 sim-to-real。

Adaptive Action Chunking at Inference-time for Vision-Language-Action Models

提出自适应动作分块(AAC)策略,利用动作熵作为线索在推理时动态确定最优分块大小,无需额外训练或架构修改,在RoboCasa和LIBERO等基准上持续提升GR00T N1.5和π0.5的任务成功率。

Affordance Field Intervention: Enabling VLAs to Escape Memory Traps in Robotic Manipulation

针对 VLA 模型在场景扰动下"照搬训练轨迹、把机械臂开向旧位置"的记忆陷阱问题,本文用一个无需训练的 3D 空间可供性场(SAF)作为即插即用插件:靠本体感受检测陷阱、回滚到安全历史位姿、再用 SAF 采样路点并对 VLA 候选轨迹按累积可供性打分重排,在真实平台 OOD 场景上平均提升 23.5%。

AffordGen: Generating Diverse Demonstrations for Generalizable Object Manipulation with Affordance Correspondence

AffordGen 把"affordance 语义对应"从在线规划信号改造成离线数据生成的先验:用 DINOv2 在大规模 3D mesh 之间建立关键点对应,把一条人类示教里的抓取段和技能段批量迁移到成百上千个新物体上,合成出覆盖全 6D 位姿、跨类别的轨迹数据集,再用这些数据训练闭环视觉运动策略,从而对真正没见过的物体实现零样本泛化。

AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions

AGENTSAFE 是首个系统评测「具身 VLM 智能体执行危险指令」安全性的 benchmark:它用一个可对接任意 agent 的对抗仿真沙盒(SAFE-THOR)+ 9,900 条按「机器人三定律」分类的危险指令(SAFE-VERSE)+ 跨「感知-规划-执行」三阶段的细粒度诊断协议(SAFE-DIAGNOSE),评测了 9 个 VLM 与 2 套 agent workflow,揭示出当前智能体「能看出危险却无法把这种认知落到规划和执行上」的系统性失效,并给出一个思维层防御模块 SAFE-AUDIT。

查看全部149篇「机器人/具身智能」论文 →


🎮 强化学习 (30)

Adversarial Agents: Black-Box Evasion Attacks with Reinforcement Learning

把"生成对抗样本"重新建模成一个马尔可夫决策过程(MDP),用 PPO 训练一个会"攒经验"的 RL 攻击智能体,让黑盒逃逸攻击随着训练越打越准、越打越省查询——在 CIFAR-10 / SVHN 上相比 Square、HSJA、Bandits 等 SOTA 黑盒攻击,最多多 17% 攻击成功率、少 31% 查询。

Anticipatory Planning for Multimodal AI Agents

提出 TraceR1,一个两阶段 RL 框架:第一阶段通过轨迹级奖励优化让智能体学会"向前看几步"的前瞻性规划,第二阶段通过工具执行反馈做 grounded fine-tuning 来提升单步精度,在 7 个 GUI 和工具使用 benchmark 上取得了开源 SOTA。

AnyDoc: Enhancing Document Generation via Large-Scale HTML/CSS Data Synthesis and Height-Aware Reinforcement Optimization

AnyDoc 提出了一个基于统一 HTML/CSS 表示的通用文档生成框架,通过自动化数据合成管线构建 265K 文档数据集 DocHTML,结合 SFT 和高度感知强化学习(HARL)微调多模态大模型,在意图到文档、文档反渲染和元素到文档三个任务上超越 GPT-4o 等基线。

BuildingGPT: Auto-Regressive Building Wireframe Reconstruction Model with Reinforcement Learning

BuildingGPT 把"从点云重建建筑线框"重新表述成一个序列生成问题:先用一套分层 tokenization 把线框按"地基→墙→屋顶"的顺序编码成离散 token,再用点云条件的自回归 Transformer 逐 token 生成,最后用一个基于自定义偏好分数(PSF)的 DPO 后训练对齐人类对几何精度与拓扑正确性的偏好,在大规模 MunichWF 数据集上全面超过检测式和扩散式 SOTA。

CCCaption: Dual-Reward Reinforcement Learning for Complete and Correct Image Captioning

提出 CCCaption 双奖励强化学习框架,通过 completeness reward(基于多 MLLM 生成的视觉 query 集)和 correctness reward(基于 caption 分解后的子 query 幻觉检测)联合优化图像描述的完整性和正确性,2B 模型超越 32B 基线。

CME-CAD: Heterogeneous Collaborative Multi-Expert Reinforcement Learning for CAD Code Generation

针对"从二维工程三视图直接生成可执行、可编辑 CAD 代码"这一工业场景,CME-CAD 让多个异构预训练大模型分别扮演风格各异的"专家",先用各自的推理风格做监督微调(MEFT),再在强化学习阶段(MERL)让强专家通过 KL 蒸馏把好策略传给弱专家、并用难例缓冲机制反复攻克最难的样本,最终在自建的工业级基准 CADExpert 上把 IoU 从 71.84% 提升到 80.71%、代码可执行率提到 98.25%。

Cross-modal Identity Mapping: Minimizing Information Loss in Modality Conversion via Reinforcement Learning

提出 Cross-modal Identity Mapping (CIM),通过分析用 caption 检索到的图像的表示一致性(GRC)和与源图像的相关性(QIR)来量化图像描述中的信息损失,将其作为 RL 奖励信号训练 LVLM 生成细粒度且精确的描述,无需额外标注。

DreamSAC: Learning Hamiltonian World Models via Symmetry Exploration

DreamSAC 给基于像素的世界模型(DreamerV3)换上一个 SE(3) 不变的哈密顿动力学先验,并用一个"主动做功打破对称性"的内在好奇心去采集物理信息量最大的数据,让模型不再只学像素统计相关性、而是学到守恒律,从而在质量/重力/摩擦力等未见物理参数上的外推泛化比 SOTA 高 22%–163%。

EVA: Efficient Reinforcement Learning for End-to-End Video Agent

EVA 把长视频理解建模成一个"先规划、后感知"的马尔可夫决策过程,让 MLLM 智能体仅凭文本问题就决定"看哪段、看几帧、看多清",再用 SFT 冷启动 → KTO 离线纠偏 → 数据增强 GRPO 的三段式训练把它从"格式模仿者"练成"会主动探索的看视频高手",在 6 个视频基准上以约 1/10 的视觉 token 取得比通用 MLLM 高 6–12%、比已有自适应智能体高 1–3% 的精度。

GeoWorld: Geometric World Models

GeoWorld 将预测式世界模型的潜在表征从欧氏空间映射到双曲流形上,通过 Hyperbolic JEPA 保持几何结构和层级关系,并提出 Geometric Reinforcement Learning 来优化多步规划,在 CrossTask 和 COIN 上实现了约 3% SR(3步)和 2% SR(4步)的提升。

查看全部30篇「强化学习」论文 →


📦 模型压缩 (129)

4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation

提出4D-RGPT和感知4D蒸馏(P4D)框架,通过从冻结的4D感知专家模型中蒸馏深度和光流等知识到MLLM中增强4D感知,同时构建R4D-Bench——首个区域级4D视频问答基准。

A Paradigm Shift: Fully End-to-End Training for Temporal Sentence Grounding in Videos

提出首个完全端到端的时序语句定位(TSGV)框架,通过语句条件适配器(SCADA)将语句嵌入注入视频backbone的中间层来动态调制视觉特征,配合视频中心学习策略加速训练,在Charades-STA和ActivityNet上超越SOTA。

Accelerating Streaming Video Large Language Models via Hierarchical Token Compression

针对流式视频大模型(streaming VideoLLM)实时部署慢的问题,提出即插即用的两级 token 压缩框架 STC:STC-Cacher 在 ViT 编码阶段缓存并复用相邻帧的静态特征、只重算动态 token,STC-Pruner 在进 LLM 之前用「时空双锚点」剪掉冗余 token,在 ReKV 上保留约 99% 精度的同时把 ViT 编码延迟降 24.5%、LLM 预填充延迟降 45.3%。

AdaBet: Gradient-free Layer Selection for Efficient Training of Deep Neural Networks

提出 AdaBet,一种基于代数拓扑(第一 Betti 数 \(b_1\))的无梯度层选择方法,仅通过前向传播计算每层激活空间的拓扑复杂度来决定哪些层需要微调,无需标签、梯度或反向传播,在 ResNet50/VGG16/MobileNetV2/ViT-B16 上以仅 10% 层微调达到优于全量训练的准确率,同时峰值内存降低约 40%。

Adapting Lightweight Image-based Counting Models for Video Crowd Counting

这篇论文不给视频人群计数(VCC)加任何时序模块,而是把"相邻帧的人数变化应当有界"这一时空先验,解析地写成一个基于特征函数(ChF)频域的统计正则器,只在训练时约束一个轻量图像计数(ICC)模型,推理仍是单帧——在六个数据集上做到 SOTA 精度的同时把推理帧率拉到 99.5 fps。

Adaptive Depth Lightweight RGB-T Tracking with Holistic Token Routing

ADTrack 把网络深度当作可动态分配的算力预算——给冻结的双流 ViT-T 骨干装上多层"随时可出结果"的预测头和置信度校准的早退出策略,并用一个只有 37.3K 参数的整体令牌路由模块(HTGI)做廉价跨模态融合,在 LasHeR 上拿到 70.2% PR / 56.3% SR 的同时跑到 GPU 148.3 FPS、CPU 50.2 FPS、边缘端 28.7 FPS。

Adaptive Video Distillation: Mitigating Oversaturation and Temporal Collapse in Few-Step Generation

针对视频扩散模型做 DMD(分布匹配蒸馏)时普遍出现的「颜色过饱和 + 运动坍缩」两大顽疾,本文提出自适应回归损失(用 EMA 缓存动态降权那些偏差过大的真实样本)、时序正则损失(直接惩罚帧间方差过低),再配一个高噪声步降帧率、低噪声步插值补回的推理加速策略,在 Wan2.1-1.3B/14B 上做到 4 步生成,VBench/VBench2 总分超过所有蒸馏 baseline、用户偏好甚至超过 50 步教师。

AdaSVD: Singular Value Decomposition with Adaptive Mechanisms for Large Multimodal Models

AdaSVD 用「交替最小二乘补偿被截断的奇异矩阵」+「按层重要性自适应分配压缩率」两招,把基于 SVD 的大多模态模型压缩在高压缩率(60%+)下的精度损失大幅压下来,在 LLaMA2/OPT/Mistral/Vicuna 上全面超过 SVD-LLM。

Adversarial Concept Distillation for One-Step Diffusion Personalization

OPAD 首次解决单步扩散模型的个性化问题(1-SDP),通过教师-学生联合训练 + 对齐损失 + 对抗监督实现单步高质量概念生成,并引入协作学习阶段利用学生生成样本反馈增强双方。

Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding

AttentionPack 利用 LVLM 的 KV cache(尤其是视觉 token)天然低秩这一观察,先用 SVD 在「合并多头 + 区分视觉/文本」的方式下把 cache 沿隐藏维压缩,再用一套基于累积注意力分数的「注意力感知部分解压」按需选秩,在几乎不掉点的前提下把显存降到原来的 1/5~1/8,从而支持更大 batch / 更长上下文、解码吞吐提升最高 74%。

查看全部129篇「模型压缩」论文 →


🔄 自监督/表示学习 (83)

A Stitch in Time: Learning Procedural Workflow via Self-Supervised Plackett-Luce Ranking

提出 PL-Stitch 自监督框架,利用 Plackett-Luce 概率排序模型将视频帧的时序排序作为预训练信号,学习具有"程序感知"能力的视频表示,在手术阶段识别和烹饪动作分割上全面超越现有自监督方法。

An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning

提出基于最优传输理论的在线混合模型学习框架 (MMOT),通过为每个类别维护多个自适应质心来更精确地表征在线数据流的多模态特性,结合动态保持策略增强类别区分能力,在在线类增量学习 (OCIL) 中有效缓解灾难性遗忘。

Assignment-Driven Hash Learning in a Hyper-Semantic Space for On-the-Fly Category Discovery

针对在线类别发现(OCD)中"特征到哈希码级联退化"和"已知类垄断表示空间"两大顽疾,本文先构造一个含「派生子空间 + 校准子空间」的超语义空间来同时刻画类内多样性并为新类预留空间,再在该空间里做"软原型分配 + 二值哈希正则"的赋值驱动哈希学习;作为即插即用模块挂到 SMILE / PHE 上,在六个细粒度数据集上 All 准确率平均提升约 12.78%(SMILE 基础上)。

Beyond Myopic Alignment: Lookahead Optimization for Online Class-Incremental Learning

针对在线类增量学习中"当前任务梯度与回放梯度冲突"导致遗忘的问题,本文先从理论上揭示 hypergradient 方法本质是把任务梯度对齐到共享元目标、却只看当下一步因而"短视",进而提出 LOR:在更新前先沿一组"可塑性-稳定性"权衡方向探查多个未来模型状态,再用 Log-Sum-Exp 软化的 min-max 目标优化最坏方向,把模型推向更平坦、更抗遗忘的区域,在 Seq-CIFAR10/100 与 Seq-TinyImageNet 上全面超过 SOTA。

Beyond the Static World: Continual Category Discovery under Visual Drift

针对"无标注数据流既冒出新类、又来自陌生域"的现实场景,本文提出 OCCD 任务,并用"最优传输自动分离已知/未知样本 → 对抗对齐已知类原型 → 频域增强约束类别拓扑一致性"三件套,在 DomainNet 和 SSB-C 上同时把新类发现和旧类识别拉到新 SOTA。

Can You Learn to See Without Images? Procedural Warm-Up for Vision Transformers

在 ViT 正式看图像之前,先用形式文法生成的「平衡括号」之类纯符号、无任何视觉内容的序列做一段轻量 masked-token 预训练(warm-up),逼模型内化栈式层级、长程依赖这类通用计算机制;之后再接标准图像训练,仅花 1% 训练预算就能在 ImageNet-1K 上把 top-1 提升 +1.72%,相当于替代了 28% 的图像数据。

CHEEM: Continual Learning by Reuse, New, Adapt and Skip -- A Hierarchical Exploration-Exploitation Approach

提出 CHEEM 框架,通过分层探索-利用采样的 NAS 自动学习任务感知的动态 ViT 骨干——在每一层选择 Reuse/New/Adapt/Skip 四种操作——在 MTIL 和 VDD 两个挑战性持续学习基准上显著超越提示类方法,接近全量微调上界。

Chain-of-Models Pre-Training: Rethinking Training Acceleration of Vision Foundation Models

提出 Chain-of-Models Pre-Training (CoM-PT),将视觉基础模型按大小排列形成"模型链",通过从小到大的逆向知识转移(权重初始化+特征蒸馏)逐步加速训练,实现性能无损的训练加速且效率随模型家族规模增长而提升。

CUE: Concept-Aware Multi-Label Expansion to Mitigate Concept Confusion in Long-Tailed Learning

针对微调基础模型做长尾识别时出现的「概念混淆」(尾类样本被错分到语义相关类),CUE 用零样本 CLIP 提供实例级、用 LLM 提供类级的多标签语义线索,通过两个二值 logit 调整(BLA)辅助损失把这些相关类一起当正标签监督,从而保留预训练时的类间关系,在四个长尾基准上尾类显著涨点。

D2Dewarp: Dual Dimensions Geometric Representation Learning Based Document Image Dewarping

提出 D2Dewarp——首个从水平和垂直双维度学习文档几何表示的去畸变方法:UNet 双解码器分别预测水平线(文档/表格/文本行的上下边界)和垂直线(左右边界),HV Fusion Module 通过混合注意力交叉融合两个方向的特征,并构建了包含 114K 张图的 DocDewarpHV 数据集提供双维度标注。

查看全部83篇「自监督/表示学习」论文 →


🔬 可解释性 (41)

A Study of Failure Modes in Two-Stage Human–Object Interaction Detection

这是一篇诊断性研究而非新方法:作者不造大规模 benchmark,而是把 HICO-DET 测试集按「人数 × 物体关系 × 交互关系」重组成一组可控的交互配置子集,再把模型的假阳性预测拆成六类误差,系统揭示两阶段 HOI 模型在多人/同类多物体/细粒度交互场景下到底错在哪——结论是高 mAP 并不等于真正的关系推理能力,动词预测错误和物体条件偏置是被聚合指标掩盖的主要病灶。

Beyond Top Activations: Efficient and Reliable Crowdsourced Evaluation of Automated Interpretability

针对「自动神经元解释好不好」这个评测问题,本文用模型引导的重要性采样(MG-IS)挑出最有信息量的输入交给众包标注、用贝叶斯评分聚合(BRAgg)去除标注噪声,把一次可靠的全分布相关性评测成本从约 $90k 砍到 $2.16k(约 40×),并据此在多个视觉模型上系统比较了主流解释方法,发现 Linear Explanations 总体最好、反而胜过近期的 LLM-based 方法。

CIGMA: Causal Information-Gain Mechanistic Attribution of Attention Heads in Vision Transformers

CIGMA 用「遮前景 / 遮背景」两次反事实编辑量化每个注意力头对背景捷径的贡献,再按因果信息增益排序、外科式地把 top-K 个"虚假头"清零,免训练地让 ViT/VLM 把注意力从背景拉回前景物体,分类准确率提升 7.6–24.8 个百分点、背景依赖度降低约 83%。

CI-ICE: Intrinsic Concept Extraction Based on Compositional Interpretability

提出CI-ICE新任务和HyperExpress方法:在双曲空间(Poincaré球)中利用层次建模能力提取可组合的物体级/属性级内在概念,通过Horosphere投影保证概念嵌入空间的可组合性,在UCEBench上概念解耦ACC₁达0.504(较ICE的0.325提升55%)。

CREward: A Type-Specific Creativity Reward Model

本文把"视觉创造力"沿图像形成管线拆成 几何 / 材质 / 纹理 三个可解释的轴,先用专家两两比较建一个人类基准 CreBench、确认大型视觉语言模型(LVLM)的创造力判断与人类高度一致,再用 LVLM 生成的偏好标签蒸馏出一个轻量级类型化奖励模型 CREward(冻结视觉骨干 + MLP 头),并把它用于创造力评估、创意样本筛选 / LoRA slider 引导生成、以及 Grad-CAM 可解释三大应用。

Cut to the Chase: Training-free Multimodal Summarization via Chain-of-Events

提出 CoE,一个免训练的多模态摘要框架,通过构建层次事件图(HEG)引导链式事件推理,在8个数据集上超越SOTA视频CoT基线,平均提升 +3.04 ROUGE、+9.51 CIDEr、+1.88 BERTScore。

Draft and Refine with Visual Experts

提出 DnR(Draft and Refine),一个基于问题条件视觉利用度(Visual Utilization)指标的 Agent 框架,量化 LVLM 对视觉证据的实际依赖程度,并通过外部视觉专家(检测/分割/OCR等)的渲染反馈迭代改善视觉定位,减少幻觉。

Edit-As-Act: Goal-Regressive Planning for Open-Vocabulary 3D Indoor Scene Editing

将开放词汇的3D室内场景编辑重新定义为目标回归规划问题,设计PDDL风格的EditLang符号语言,通过LLM驱动的Planner-Validator循环从目标状态逆向推导最小编辑序列,在63个编辑任务上同时实现指令忠实度(69.1%)、语义一致性(86.6%)和物理合理性(91.7%)三个指标的最佳平衡。

ERMoE: Eigen-Reparameterized Mixture-of-Experts for Stable Routing and Interpretable Specialization

ERMoE 提出在正交特征基(eigenbasis)中重参数化MoE专家权重,并用特征基分数(cosine similarity)替代传统路由logits,无需辅助负载均衡损失即可实现稳定路由和可解释的专家特化。

From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

本文提出 SITH(Semantic Inspection of Transformer Heads),一个完全无需数据和训练的 CLIP 可解释性框架:直接对注意力头的 Value-Output 权重矩阵做 SVD 分解,然后用自研的 COMP 算法将每个奇异向量解释为语义一致的概念稀疏组合,实现了比现有方法更细粒度的 intra-head 级别可解释性,并支持精准的权重编辑来改善下游性能。

查看全部41篇「可解释性」论文 →


📐 优化/理论 (38)

ACE-Merging: Data-Free Model Merging with Adaptive Covariance Estimation

本文从理论上证明了微调参数差蕴含输入协方差信息,据此提出 ACE-Merging,通过自适应协方差估计、集体结构先验和谱精炼三步实现无数据闭式模型合并,在 GPT-2 上比之前方法平均提升 4%,在 RoBERTa-Base 上提升 5%。

BD-Merging: Bias-Aware Dynamic Model Merging with Evidence-Guided Contrastive Learning

提出 BD-Merging 框架,通过 Dirichlet 证据建模 + 邻域差异分数(ADS)+ 差异感知对比学习,训练去偏路由器来自适应分配模型合并权重,显著提升合并模型在测试时分布偏移和未见任务上的鲁棒性与泛化能力。

Beyond Euclidean Gossip: KL-Barycentric Consensus on Heterogeneous and Imbalanced Images

针对完全去中心化训练在 non-i.i.d. 数据和客户端规模不均衡下崩坏的问题,本文把"邻居间平均模型参数"这个 Euclidean gossip 操作,换成在指数族期望参数空间里做线性混合——它恰好等价于一次曲率感知的 KL 重心共识(自然梯度步),无需构造或求逆 Fisher 矩阵就把单轮复杂度从 \(O(d^3)\) 降到 \(O(d)\),并给出一个开销与 Adam 几乎相同的实现 KL-consensus Adam,在 CIFAR-100 上比 Euclidean 共识基线高出约 20% 准确率。

Conditional Factuality Controlled LLMs with Generalization Certificates via Conformal Sampling

提出 CFC(Conditional Factuality Control),一种后验保形框架,通过增广分位数回归学习特征条件化的接受阈值,为LLM/VLM采样输出提供条件覆盖率保证,在保持紧凑预测集的同时显著改善难题子群的可靠性。

DABO: Difficulty-Aware Bayesian Optimization with Diffusion-Learned Priors

DABO 把"优化难度"作为一等条件变量贯穿整条 freeze-thaw 超参数优化流水线——用三层难度刻画 + 条件扩散模型生成 100 万条带难度标注的合成学习曲线,训出难度感知的 PFN 代理与自适应采集函数,在 75 个任务上比当前 SOTA(ifBO)平均降低 11–18% 的 regret,且越难的任务收益越大。

DC-Merge: Improving Model Merging with Directional Consistency

DC-Merge 发现模型合并的关键在于保持合并后多任务向量与原始单任务向量之间奇异空间方向的一致性,通过奇异值平滑 + 共享正交子空间投影两步操作,在 Vision 和 Vision-Language 任务上均取得 SOTA 合并效果。

Defending Unauthorized Model Merging via Dual-Stage Weight Protection

提出 MergeGuard,一种主动式双阶段权重保护框架:Stage 1通过L2正则化分散任务关键权重,Stage 2注入结构化扰动破坏合并兼容性,在保持保护模型<1.5%性能损失的同时使合并模型精度下降高达90%。

Domain Sensitive Federated Learning with Fisher-Informed Pruning

FEDFIP 用每个域的 Fisher 信息估计通道重要性,在服务器端拼出一个全局共享剪枝掩码、客户端再「重新激活」少量本地关键通道,配合域原型结构对比正则和「只聚合共享通道」的聚合策略,在多域联邦场景里既显著压小模型、又比一众 FL baseline 更准更稳。

DP-FedAdamW: An Efficient Optimizer for Differentially Private Federated Large Models

这篇论文发现把 AdamW 直接搬到差分隐私联邦学习(DPFL)里会失灵,定位出"二阶矩方差放大、DP 引入的二阶矩偏置、客户端漂移加剧"三个病因,提出首个面向 DPFL 的 AdamW 优化器 DP-FedAdamW——用按块聚合二阶矩、显式扣掉 DP 噪声偏置、本地更新对齐全局方向三招对症下药,在 Tiny-ImageNet(Swin-Base, ε=1)上比 SOTA 高 5.83%。

Dynamic Momentum Recalibration in Online Gradient Learning

从信号处理视角揭示固定动量系数在偏差-方差权衡上的固有缺陷,提出SGDF优化器,通过在线计算最优时变增益(基于最小均方误差原则)动态平衡梯度估计的噪声抑制和信号保持,在多种视觉任务上超越SGD动量和Adam变体。

查看全部38篇「优化/理论」论文 →


🕸️ 图学习 (10)

Adaptive Learned Image Compression with Graph Neural Networks

GLIC 把学习图像压缩里的非线性变换从固定卷积或窗口注意力,改造成由图神经网络驱动的内容自适应连接:先用双尺度图决定“连到哪里”,再用复杂度感知机制决定“连多少”,从而更好地建模局部与远程冗余,在三个标准数据集上都显著超过传统编解码器和近期 LIC 强基线。

Graph-to-Frame RAG: Visual-Space Knowledge Fusion for Training-Free and Auditable Video Reasoning

提出 G2F-RAG 范式,将检索到的结构化知识渲染为单帧"推理帧"附加到视频末尾,使大模型在视觉空间内统一推理,避免了文本追加导致的注意力稀释和认知负荷,在 8 个视频基准上实现免训练的一致性提升。

Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

提出 Graph2Eval,一个知识图谱驱动的 agent 评估任务自动生成框架——通过从文档/网页构建结构化知识图谱、子图采样、LLM 条件生成和多阶段过滤,自动产出语义一致(+20%)且可解(+17%)的多模态 agent 任务,构建了包含 1319 个任务的 Graph2Eval-Bench。

M3KG-RAG: Multi-hop Multimodal Knowledge Graph-enhanced Retrieval-Augmented Generation

提出M3KG-RAG,通过轻量多Agent流水线构建多跳多模态知识图谱(M3KG),并设计GRASP机制进行实体定位和选择性剪枝,仅保留查询相关且有助回答的知识,大幅提升MLLM的音视觉推理能力。

Mario: Multimodal Graph Reasoning with Large Language Models

提出 Mario,针对多模态图(MMG)上的 LLM 推理,通过图条件视觉语言模型(GVLM)实现拓扑感知的跨模态对齐,再用模态自适应提示路由器(MAPR)为每个节点选择最优模态配置,在节点分类和链接预测上达到 SOTA。

Mixture-of-Experts based Feature Decoupling for Open Vocabulary Scene Graph Generation

针对开放词表场景图生成(OVSGG)里"只套用现成 VLM 特征、缺乏判别性属性、物体与关系语义割裂"的痛点,本文提出 MoE-FD:用混合专家自适应地把物体/关系特征解耦成形状、纹理、空间等子属性,再用迭代跨注意力让节点与边互相精炼,最终在 Visual Genome 全开放词表设定下把新类 R@100 大幅刷高(OvD+R 新关系 R@20 比 ACC 高 4.24%)。

R2G: A Multi-View Circuit Graph Benchmark Suite from RTL to GDSII

提出 R2G,首个标准化的多视图电路图基准套件,在 30 个 IP 核上提供 5 种阶段感知的图表示(具有信息对等性),系统研究发现图表示选择比 GNN 模型选择对性能影响更大。

Robo-SGG: Exploiting Layout-Oriented Normalization and Restitution Can Improve Robust Scene Graph Generation

针对鲁棒场景图生成(在噪声/模糊/天气等损坏图像上推理)里"视觉特征发生域偏移导致性能暴跌"的痛点,本文提出即插即用的 Robo-SGG:用实例归一化抹掉损坏带来的域特异统计、再用布局感知注意力把全局结构特征找回来(NRM),并用门控融合自适应平衡视觉与坐标特征(LEE),插到现有 SGG 模型上即在 VG-C 上把 PredCls/SGCls/SGDet 的 mR@50 相对提升 6.3% / 11.1% / 8.0%。

ViterbiPlanNet: Injecting Procedural Knowledge via Differentiable Viterbi for Planning

将过程知识图(PKG)通过可微Viterbi层端到端嵌入规划模型,使神经网络只需学习发射概率而非记忆完整过程结构,在CrossTask/COIN/NIV上以仅5-7M参数(比扩散/LLM方法少1-3个数量级)达到SOTA成功率,并建立了统一的评估基准。

WSGG: Towards Spatio-Temporal World Scene Graph Generation from Monocular Videos

本文提出世界场景图生成(WSGG)任务,将传统帧级场景图扩展为在统一世界坐标系下追踪所有物体(包括被遮挡/不可见的),配合 ActionGenome4D 数据集和 PWG/MWAE/4DST 三种互补方法实现持久化场景推理。


📈 时间序列 (7)

L2GTX: From Local to Global Time Series Explanations

L2GTX 提出一种完全模型无关的局部到全局解释方法,通过从 LOMATCE 局部解释中提取参数化时间事件原语(趋势/极值),跨实例合并冗余聚类并以子模优化选取代表性实例,最终聚合为简洁的类级别全局解释,在6个时序分类数据集上保持稳定的全局忠实度。

PFGNet: A Fully Convolutional Frequency-Guided Peripheral Gating Network for Efficient Spatiotemporal Predictive Learning

提出 PFGNet,一种纯卷积时空预测框架,通过像素级频率引导门控(PFG)动态调制多尺度大核外周响应并施加可学习中心抑制,模拟生物视觉的 center-surround 带通滤波机制,在 Moving MNIST、TaxiBJ、KTH、Human3.6M 四个基准上以极少参数和计算量达到 SOTA 或近 SOTA 性能。

Real-Time Long Horizon Air Quality Forecasting via Group-Relative Policy Optimization

本文针对东亚长程(48–120 小时)PM 浓度预测,先发布一套观测对齐的区域数据集 CMAQ–OBS,再用「带时间累积损失的 SFT + 带类别 AQI 奖励的 GRPO」两阶段训练(FAKER-Air),把 MSE 训练固有的「过预报、误报多」问题对齐到真实的运营成本上,在保持 F1 的同时把误报率(FAR)相对 SFT 基线降低 47.3%。

SATTC: Structure-Aware Label-Free Test-Time Calibration for Cross-Subject EEG-to-Image Retrieval

提出SATTC,一个无标签的测试时校准头,通过几何专家(被试自适应白化+自适应CSLS)和结构专家(互最近邻+双向top-k排名+类别流行度)的乘积专家融合,在冻结的EEG和图像编码器上直接操作相似度矩阵,显著改善跨被试EEG-to-image检索的Top-1精度并降低hubness效应。

Stable Spike: Dual Consistency Optimization via Bitwise AND Operations for Spiking Neural Networks

提出 Stable Spike 双一致性优化框架,利用硬件友好的 AND 位运算从多时间步脉冲图中解耦稳定脉冲骨架,并注入振幅感知脉冲噪声增强泛化,在超低延迟(T=2)下将神经形态物体识别精度提升最高 8.33%。

STCast: Adaptive Boundary Alignment for Global and Regional Weather Forecasting

提出STCast框架,通过Spatial-Aligned Attention(SAA)用可学习的全球-区域分布替代静态边界来自适应融合全球大气信息到区域预报,并用Temporal Mixture-of-Experts(TMoE)按月动态路由专家增强时序建模,在全球预报、高分辨率区域预报、台风路径预测和集合预测四个任务上全面超越现有方法。

Towards Uncertainty-aware Unsupervised Domain Adaptation for Videos and Time-Series with Causal Optimal Transport

本文提出 Causal-OT:把通道间的 Granger 因果图嵌进最优传输(OT)的代价矩阵里做跨域对齐,同时用基于熵的不确定性筛选伪标签,让时序与视频的无监督域适应既保住时间-因果结构、又不被过自信的伪标签带偏,在 6 个时序基准上平均涨 4.5% 准确率、4 个视频基准上涨 2.5%。


🔗 因果推理 (5)

A Polynomial Chaos Framework for Causal Discovery in Nonlinear Uncertain Systems

把噪声项用多项式混沌展开(PCE)嵌进结构方程,得到 PCE-LiNGAM,证明在轻度稀疏条件下因果 DAG 可唯一辨识,并用「PCE 签名污染检验 + 递归找 sink」的多项式时间算法在极端非高斯工业数据上把平均 F1 从 0.50 提到 0.756,同时顺手给出基于 Sobol 指数的不确定性量化。

Back to the Feature: Explaining Video Classifiers with Video Counterfactual Explanations

本文提出 BTTF,一个用 Image-to-Video 扩散模型为视频分类器生成反事实解释(CFE)的纯优化框架:仅靠目标分类器的梯度,反向优化初始噪声潜变量,先用"反演"把搜索锚在原视频附近、再优化到目标类别,从而生成与原视频最接近、却被分类器判成另一类的"平行视频",让人看清模型到底依赖哪些时空特征做决策。

CGU-Bayes: Causal Graph Uncertainty-Guided Bayesian Inference for Domain Generalization

针对"用结构因果模型(SCM)做领域泛化时、因果图在数据稀缺/含噪下估不准"的问题,本文不再点估计单一因果图,而是对因果图的后验做贝叶斯推断,从采样出的多张图里各选一套因果马尔可夫毯(CMB)特征训练预测器,再用每张图与测试样本的"对齐不确定性"当权重做加权集成,在 BLT、CMNIST 等强分布偏移数据集上拿到 SOTA。

MaskDiME: Adaptive Masked Diffusion for Precise and Efficient Visual Counterfactual Explanations

提出 MaskDiME,一个免训练的扩散框架,通过自适应双掩码机制将全局分类器引导转化为决策驱动的局部编辑,实现精确高效的视觉反事实解释,推理速度比 DiME 快 30 倍以上,GPU 内存仅为 ACE/RCSB 的十分之一。

Retrieving Counterfactuals Improves Visual In-Context Learning

提出 CIRCLES 框架,通过属性引导的 composed image retrieval 检索反事实示例,构建因果+相关性双通道 in-context demonstration,显著提升 VLM 的细粒度视觉推理能力。


🤝 联邦学习 (4)

Fully Decentralized Certified Unlearning

针对"无中心协调者的去中心化网络"这一被忽视的场景,本文提出 RR-DU——一个随机游走式的认证遗忘算法:只在发起删除的客户端上对遗忘集做带噪投影梯度上升、其余客户端继续做无噪下降,配合子采样高斯噪声和信任域投影,证明了 \((\varepsilon,\delta)\) 网络遗忘证书、收敛性与删除容量边界,且噪声不随遗忘集大小 \(m\) 增长,在图像分类上把后门攻击成功率压到随机猜测水平同时保住干净精度。

GDFA: Geometry-Driven Federated Unlearning with Directional Task Vector Alignment

GDFA 把"联邦遗忘"重新理解成一个损失曲面几何问题:先用扰动把全局模型迁到平坦极小值区,再让相关客户端在遗忘数据上生成任务向量、只保留方向一致(符号共识)的分量做反向聚合,从而在 Non-IID 场景下精确擦除目标客户端知识,同时几乎不损失保留任务精度。

HiLoRA: Hierarchical Low-Rank Adaptation for Personalized Federated Learning

HiLoRA 把每个客户端的 LoRA 更新拆成"根—簇—叶"三层正交子空间,分别承载全局共识、子群共性与客户端个性,再配上一个基于 LoRA 子空间相似度的自适应聚类,在 CIFAR-100 与 DomainNet 上同时把个性化和对新客户端的泛化都做到 SOTA。

Personalized Federated Training of Diffusion Models with Privacy Guarantees

PFDM 把扩散模型的反向去噪过程拆成"客户端私有去噪器 + 服务器共享去噪器"两块,客户端只上传经裁剪并前向加噪后的数据,从而对每个数据点给出形式化的本地差分隐私(LDP)保证;共享模型只见加噪数据、单独无法复现任何客户端样本,而协同又能显著提升少数类/欠表示类的生成质量。


🏥 医学图像 (174)

A Semi-Supervised Framework for Breast Ultrasound Segmentation with Training-Free Pseudo-Label Generation and Label Refinement

提出面向乳腺超声(BUS)图像分割的半监督框架,利用 GPT-5 生成外观描述 + Grounding DINO + SAM 免训练生成伪标签(APPG),结合双教师框架(静态+动态)通过不确定性-熵加权融合(UEWF)和自适应不确定性引导反向对比学习(AURCL)精炼标签,仅用 2.5% 标注即接近全监督性能。

A Supervised Multi-task Framework for Joint cryo-ET Restoration Enabled by Generative Physical Simulation

cryoDeRec 用一条「生成式噪声建模 + 物理成像仿真」流水线造出"含噪输入 ↔ 干净 GT"的成对断层图,把一直只能靠自监督做的 cryo-ET 去噪与缺失楔(missing wedge)修复改成全监督多任务训练,单个 U-Net 同时干两件事,在 4 个真实 + 2 个仿真数据集上全面超过 Topaz-Denoise / SC-Net / IsoNet。

Act Like a Pathologist: Tissue-Aware Whole Slide Image Reasoning

提出 HistoSelect 框架,模拟病理学家从粗到细的推理过程,通过组织分割→Group Sampler→Patch Selector 的三级筛选机制,基于信息瓶颈(IB)理论压缩无关视觉token,在减少约70%计算量的同时实现三个数据集上的SOTA。

AD-GBC: Anisotropic Granular-Ball Skip-Connection Refiner for UNet-Based Medical Image Segmentation

把 UNet 里"点原型 / 各向同性球"的语义锚点升级成带各向异性向量尺度的可微粒球,以「像素集合 ↔ 粒球」的双向聚合-广播机制充当 skip-connection 的语义精炼器,再加两个几何正则防止锚点塌缩,在四个医学分割基准上对 Rolling-UNet / U-KAN 两种骨干都带来稳定涨点(平均 IoU +1.3~1.7%)。

Adaptation of Weakly Supervised Localization in Histopathology by Debiasing Predictions

提出 SFDA-DeP,受机器遗忘启发,将 SFDA 重新定义为"识别并纠正预测偏差"的迭代过程:对 dominant class 中高熵不确定样本执行"遗忘"操作迫使模型放弃偏向性预测,对可靠样本保持自训练,同时用像素级分类器锚定定位能力,在跨器官/跨中心病理基准上持续优于现有 SFDA 方法。

Adaptive Anisotropic Gaussian Splatting for Multi-contrast MRI Arbitrary-Scale Super-Resolution with Anatomy Guidance

GaussM2ASR 把多对比度 MRI 的任意尺度超分从"INR 直接回归像素强度"换成"学一组各向异性 2D 高斯核的参数",用窄核拟合解剖边界的高频、宽核覆盖平滑低频区,再用三个解剖先验驱动的模块把高频信息和高分辨参考图的结构对齐,在 IXI/BraTS/fastMRI 上 PSNR/SSIM 全面超过现有 SOTA。

Adaptive Confidence Regularization for Multimodal Failure Detection

提出 ACR 框架,通过自适应置信度损失(惩罚多模态融合置信度低于单模态的"置信度退化"现象)和多模态特征交换(在特征空间合成失败样本)两个互补模块,首次系统解决多模态场景下的误分类检测问题,在四个数据集上全面超越已有方法。

Any2Any 3D Diffusion Models with Knowledge Transfer: A Radiotherapy Planning Study

把在自然视频(Wan 2.1)或公开 CT(MAISI)上预训练好的 3D 扩散模型迁移到放疗剂量预测,用一套「Any2Any」模态条件范式让任意模态都能当生成目标,再用临床 Scorecard 设计的强化学习后训练对齐机构偏好,在 GDP-HMM 挑战赛上把体素级 MAE 从 2.07 降到 1.93、刷新 SOTA。

Are General-Purpose Vision Models All We Need for 2D Medical Image Segmentation? A Cross-Dataset Empirical Study

通过在三个异构医学数据集上对 11 种架构进行标准化对比实验,证明了通用视觉模型 (GP-VMs) 在 2D 医学图像分割中可以超越大多数专用医学分割架构 (SMAs),且 XAI 分析表明 GP-VMs 无需特定领域设计也能捕获临床相关结构。

Attention Consistent Longitudinal Medical Visual Question Answering Guided by Vision Foundation Models

针对胸片"前后两次随访对比"的差异型 VQA,本文提出"轻量仿射预配准 + DINO 先验与自适应掩码融合的共享显著性掩码 + 多粒度自/无监督辅助目标"的编码器-解码器框架,让模型在两个时间点看同一块解剖区域,在 Medical-Diff-VQA 上把 METEOR 从 0.389 拉到 0.700,并自带可解释的病灶掩码。

查看全部174篇「医学图像」论文 →


🛡️ AI 安全 (148)

A Combination of Noise and Bilateral Filters Achieve Supralinear and Scalable Adversarial Robustness in CNNs

本文从决策边界几何的角度证明「高斯噪声」和「图像滤波」通过两种互补机制抵御对抗攻击,因而二者组合能带来超线性(supralinear)的鲁棒性增益;据此提出一个极简预处理器(像素级高斯噪声 + 多次双边滤波,训练和推理都用),在 RobustBench 上以约 35% 的训练 FLOPs、一半参数量就逼近甚至超过 SOTA 防御。

A Sanity Check for Multi-In-Domain Face Forgery Detection in the Real World

这篇论文先做了个"sanity check":揭示现有 deepfake 检测器在多域混合数据上看似高 AUC、实则单帧 real/fake 准确率(ACC)很低,因为"域差异"在特征空间里盖过了"真假差异";随后提出模型无关的两阶段框架 DevDet(FFDev 暴露伪造痕迹 + DAFT 自适应剂量微调),在保持原泛化能力的同时把帧级 ACC 显著拉高。

A Unified Perspective on Adversarial Membership Manipulation in Vision Models

首次揭示视觉模型成员推断攻击(MIA)面临的对抗性成员操纵漏洞——不可感知扰动可将非成员伪造为成员欺骗审计,发现伪造成员的梯度范数塌缩特征签名,并提出基于梯度几何的检测策略和对抗鲁棒推断框架。

AdvFM: Lookahead Flow-Matching Velocity-Field Attacks for Imperceptible and Transferable Adversarial Examples

把无限制对抗攻击搬到 flow-matching 的连续时间速度场里做:不直接扰动像素、也不走扩散式的"去噪—再加噪",而是把对重建图的 PGD 扰动转译成速度场的扰动并沿概率流 ODE 确定性地传播,再配一个"前瞻两点目标"修正时间错配,从而在 ImageNet 上同时拿到更强的黑盒迁移性和更高的抗净化/抗对抗训练成功率。

All Vehicles Can Lie: Efficient Adversarial Defense in Fully Untrusted-Vehicle Collaborative Perception via Pseudo-Random Bayesian Inference

提出 Pseudo-Random Bayesian Inference (PRBI) 框架,在所有车辆均不可信的协同感知场景中,利用帧间时序一致性作为自参考信号,通过伪随机分组 + 贝叶斯推断,仅需平均 2.5 次验证/帧即可高效识别并排除恶意车辆,检测精度恢复至攻击前的 79.4%–86.9%。

AntiStyler: Defending Object Detection Models Against Adversarial Patch Attacks Using Style Removal

把风格迁移(style transfer)反转成"风格移除"(style removal),用它把对抗补丁那种"随机纹理风格"从图像里抹掉、定位并 mask 掉补丁像素,做出一个不需训练、对模型/补丁/攻击全不可知的零样本防御,在保持干净图性能的同时把对抗 mAP 提升 8–15 个点,且只需 40–90ms/张、能跑 10–12 FPS 满足实时检测。

AVFakeBench: A Comprehensive Audio-Video Forgery Detection Benchmark for AV-LMMs

AVFakeBench 是首个覆盖「人类+通用场景、7 类音视频伪造组合、4 级标注」的综合音视频伪造检测基准(3K 片段 / 12K 问答),用一套「专有模型规划 + 专家生成模型执行」的多阶段混合伪造框架批量造假数据,并评测了 11 个音视频大模型(AV-LMM)和 2 个专家检测器,发现 AV-LMM 在二分类真伪判断上已超过专家模型,但在细粒度伪造分类与解释推理上几乎全线崩溃。

Batman: Benign Knowledge Alignment Through Malicious Null Space in Federated Backdoor Attack

针对联邦后门攻击"对齐良性知识会削弱攻击、不对齐又容易被防御识破"的两难,Batman 用 SVD 把恶意知识压进参数矩阵的主导方向、在其正交的"恶意零空间"里对齐良性知识,使隐蔽性提升而后门功能几乎不受损,在四个数据集、六种聚合/防御下都能同时拿到高 ASR 和高 ACC。

Beyond [CLS] Token: Query-Driven Token-Level Forgery Purification for Generalizable Deepfake Detection

针对 ViT 基础模型做 deepfake 检测时 [CLS] token 过度关注全局语义、忽略局部伪造痕迹的"预训练信息偏置"问题,本文提出 QTFP 框架:用一组随机初始化的可学习 query token 替代 [CLS] 去聚合局部证据,再配合"伪造似然加权对比损失"和"真实图注意力对齐"两个正则,把跨数据集平均 AUC 从 Effort 的 0.923 提到 0.947。

Bridging Privacy and Provenance: Traceable Virtual Identity Generation

这篇论文用一个扩散框架给每个用户生成"稳定、可复现、又看不出本人长相"的虚拟人脸,同时在生成过程中嵌入一个 128 位不可见水印当身份指纹,让用户日后能在不暴露真脸的前提下凭密钥验证"这张虚拟脸是我的",实现匿名与可溯源同时兼得。

查看全部148篇「AI 安全」论文 →


🧬 计算生物 (21)

HINGE: Adapting a Pre-trained Single-Cell Foundation Model to Spatial Gene Expression Generation from Histology Images

提出HINGE框架,首次将预训练的表达空间单细胞基础模型(sc-FM, CellFM)改装为组织学图像条件的空间基因表达生成器,通过恒等初始化的SoftAdaLN调制轻量注入视觉上下文、表达空间掩码扩散过程对齐预训练目标、warm-start课程稳定训练,在三个ST数据集上达SOTA并保持优越的基因共表达一致性。

Advancing Cancer Prognosis with Hierarchical Fusion of Genomic, Proteomic and Pathology Imaging Data from a Systems Biology Perspective

HFGPI 把"基因 → 蛋白质 → 组织形态"的系统生物学级联显式建模成一条分层融合管线,用图感知交叉注意力刻画基因对蛋白的调控、用超图把蛋白连到病理 patch,在 5 个 TCGA 队列上把生存预测的平均 C-index 推到 0.753,超过所有 SOTA。

BiGMINT: Biologically-guided Hierarchical Multimodal Integration for Modeling Multiple Compound Activities in Drug Discovery

BiGMINT 用「化学蛋白质组学信号引导高内涵成像(HCI)特征聚合 + 外积式跨模态融合 + 蛋白互作(PPI)先验做任务级信息共享」三段式层次化融合,把分子机制信号和细胞表型信号统一起来预测化合物活性,在两份各 ~99K / ~40K 化合物-成像对的大规模私有数据集上把平均 AUCROC 比最强单模态/多模态基线提升最多 10.0% / 4.2%,高性能任务覆盖最多翻倍。

Bulk RNA-seq Guided Multi-modal Detection of Anomalous Regions in Human Cancer via Spatial Transcriptomics

BRGMAR 用一个动态多关系图刻画空间转录组(ST)里 spot 间的空间近邻 + 基因相似关系,再用基于最优传输的“基因模块对齐”把患者级 bulk RNA-seq 的诊断信息迁移到 ST,最后与病理图像跨注意力融合,在 BRCA/HCC/ccRCC 三个数据集上把肿瘤异常区域检测的 AUC/F1 显著推到新高。

CARE: A Molecular-Guided Foundation Model with Adaptive Region Modeling for Whole Slide Image Analysis

提出 CARE,一种病理学 slide-level 基础模型,通过自适应区域生成器(ARG)将 WSI 划分为形态学相关的不规则区域(类似 NLP 中的词级 token),并结合 RNA/蛋白质表达谱的跨模态对齐进行两阶段预训练,仅用主流模型约 1/10 的数据即在 33 个下游任务上取得最优平均性能。

Cell-Type Prototype-Informed Neural Network for Gene Expression Estimation from Pathology Images

提出 CPNN,利用公开单细胞 RNA-seq 数据构建细胞类型原型(cell-type prototype),将 slide/patch 级基因表达建模为原型的加权组合,在基因表达估计任务上取得 SOTA 并提供可解释性。

Coordinate Denoising for Non-Equilibrium Molecular Representation Learning

针对"坐标去噪等价于力场学习"这一结论只在平衡态成立的缺陷,本文用势能面的二阶有限差分推导出对任意构象都成立的去噪目标 NDeM,把它做成一个即插即用、无需预训练的辅助任务,在 MD17 / QM9 / OC20 上稳定提升各种等变 GNN 的力预测精度。

Cross-Slice Knowledge Transfer via Masked Multi-Modal Heterogeneous Graph Contrastive Learning for Spatial Gene Expression Inference

提出 SpaHGC,一种基于多模态异构图的框架,通过构建目标切片内、跨切片和参考切片内三种子图,结合 masked graph 对比学习和跨节点双注意力机制,实现从 H&E 病理图像预测空间基因表达,在七个数据集上 PCC 指标提升 7.3%-27.1%。

CryoHype: Reconstructing a Thousand Cryo-EM Structures with Transformer-Based Hypernetworks

提出 CryoHype,一种基于 Transformer 超网络的冷冻电镜重建方法,通过动态调整隐式神经表示(INR)的权重来减少参数共享,首次实现了从无标签冷冻电镜图像中同时重建 1000 种不同蛋白质结构。

CryoKRAQEN: Kernel-Regularized Annealing for Quantized Embedding Networks in Cryo-EM Heterogeneous Reconstruction

CryoKRAQEN 用一个无编码器(decoder-only)的三平面 Fourier 码本来做冷冻电镜异质重建:通过 Epanechnikov 核度量粒子图与码本原型的相似度、再用温度退火把软分配逐步收紧到近硬聚类,并加三元组正则稳住码本,从而在不依赖编码器和高斯先验的情况下,把噪声 2D 投影准确归到不同 3D 构象/组分,在 CryoBench 上与 SOTA 持平、在强组分异质数据上明显更好。

查看全部21篇「计算生物」论文 →


⚛️ 物理/科学计算 (8)

AeroAgent: A Vision-Physics-Decision Framework for Aerodynamic Vehicle Design

AeroAgent 把"文本/图像生成 3D 车形 → 用 Transformer 代理模型 AeroFormer 秒级预测阻力和流场 → 规划器在预算内做 propose-evaluate-refine 闭环编辑"串成一个统一框架,只在最后用少量高保真 CFD 确认 top-K 候选,5 步迭代即可平均降阻 2–12%、把高保真 CFD 调用减少 50–80%。

AviaSafe: A Physics-Informed Data-Driven Model for Aviation Safety-Critical Cloud Forecasts

AviaSafe 把"先用掩码定位云在哪、再回归云有多浓"的层级化思路和航空气象里验证多年的"结冰条件指数(IC)"嵌进一个 Swin Transformer 预报骨干里,第一次实现了全球、逐 6 小时、可分相态(冰/液/雨/雪)的云微物理量预报,在 93.7% 的变量-时效组合上优于 FuXi 基线,并在 7 天时效的关键背景变量上追平甚至超过业务级数值预报 ECMWF HRES。

Continuous Exposure-Time Modeling for Realistic Atmospheric Turbulence Synthesis

提出曝光时间依赖的调制传递函数(ET-MTF),将曝光时间建模为连续变量,构建了大规模合成湍流数据集 ET-Turb(5083视频、200万帧),显著提升湍流复原模型在真实数据上的泛化能力。

EHETM: High-Quality and Efficient Turbulence Mitigation with Events

提出EHETM,首次利用事件相机的微秒时间分辨率突破传统多帧湍流缓解(TM)方法的精度-效率瓶颈,发现两个关键物理现象——湍流诱导事件的极性交替与清晰梯度相关、动态物体形成时空相干"事件管"——设计极性加权梯度和事件管约束两个互补模块,数据开销降低77.3%、系统延迟降低89.5%,尤其在动态物体场景显著超越SOTA。

NESTOR: A Nested MOE-based Neural Operator for Large-Scale PDE Pre-Training

提出嵌套式 MoE 神经算子 NESTOR,通过 image-level MoE 捕获不同 PDE 类型的全局特征 + token-level Sub-MoE 捕获物理场内局部相关性,在 12 个 PDE 数据集上实现大规模预训练并有效迁移到下游任务。

PhysSkin: Real-Time and Generalizable Physics-Based Skin Simulation

提出 PhysSkin,一个泛化的物理信息框架——通过神经蒙皮场自编码器从静态 3D 几何体直接学习连续蒙皮权重场,配合物理信息自监督学习策略(能量最小化+平滑性+正交性约束),实现跨形状、跨离散化的实时物理动画,无需任何标注数据或仿真轨迹。

QKD: Quantum-Gated Task-interaction Knowledge Distillation for Class-Incremental Learning

QKD 将量子门控引入类增量学习,通过参数化量子电路在高维 Hilbert 空间中建模样本-任务相关性,引导跨任务知识蒸馏和推理时适配器融合,在 5 个基准上达到 SOTA。

Δynamics: Language-Based Representation for Inferring Rigid-Body Dynamics From Videos

把"从单目视频反推刚体物理状态与参数"重新表述成文本生成问题——训练一个 VLM 以光流为输入,直接吐出可被物理引擎执行的 YAML 场景配置(几何/初始状态/材质/相机),在 CLEVRER 上分割 IoU 达到 0.30,是主流 VLM 的 7 倍,并能零样本迁移到 235 段真实视频。


📡 信号/通信 (5)

AcTTA: Rethinking Test-Time Adaptation via Dynamic Activation

本文提出 AcTTA,一种基于动态激活函数调制的测试时自适应框架,通过将传统固定激活函数重参数化为可学习形式(包含激活中心偏移和非对称梯度斜率),在推理时自适应调整激活行为以应对分布偏移,在 CIFAR10-C/CIFAR100-C/ImageNet-C 上一致超越基于归一化层的 TTA 方法。

ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding

提出 ChartNet,一个包含 150 万条高质量多模态对齐样本的百万级图表理解数据集,通过代码引导的合成管线生成涵盖 24 种图表类型、6 种绘图库的五元组数据(代码、图像、数据表、文本描述、带推理的 QA),在 ChartNet 上微调的 2B 模型可超越 GPT-4o 和 72B 开源模型。

CLAY: Conditional Visual Similarity Modulation in Vision-Language Embedding Space

CLAY 提出免训练的条件视觉相似度计算方法,通过在 VLM 嵌入空间中构建文本条件子空间来调制相似度,无需重新计算数据库特征即可适应不同检索条件,并支持多条件检索。

FAAR: Efficient Frequency-Aware Multi-Task Fine-Tuning via Automatic Rank Selection

提出 FAAR,一种频率感知的多任务参数高效微调方法,通过 Performance-Driven Rank Shrinking (PDRS) 为每个任务和层动态选择最优秩,并设计 Task-Spectral Pyramidal Decoder (TS-PD) 利用 FFT 频率信息增强空间感知和跨任务一致性,以传统微调 1/9 的参数量实现更优性能。

MERLIN: Building Low-SNR Robust Multimodal LLMs for Electromagnetic Signals

MERLIN 把"原生 MLLM"范式搬到电磁(IQ)信号领域:先构建 13.4 万对信号-文本数据(EM-134K)和覆盖感知/推理的 EM-Bench 基准,再用"高 SNR 教师→低 SNR 学生"的两阶段蒸馏框架(核心是把含噪特征投影回信号子空间的 DSM 模块),让模型在信噪比低于 0 dB 的噪声环境下仍保持鲁棒,在 EM-Bench 上全面超过 GPT-5 / Claude-4 等通用大模型。


👥 社会计算 (4)

Bridging Pixels and Words: Mask-Aware Local Semantic Fusion for Multimodal Media Verification

提出 MaLSF 框架,利用掩码-标签对作为语义锚点,通过双向跨模态验证(BCV)和层级语义聚合(HSA)模块实现主动式局部语义冲突检测,在 DGM4 和假新闻检测任务上取得 SOTA。

Learning from Synthetic Data via Provenance-Based Input Gradient Guidance

本文提出利用合成数据生成过程中自动获得的"出处信息"(provenance)作为辅助监督信号,通过输入梯度引导(抑制非目标区域的输入梯度)直接促进模型学习聚焦于目标区域的判别性表示,在弱监督定位、时空动作检测和图像分类等多任务多模态上验证了有效性。

Probabilistic Concept Graph Reasoning for Multimodal Misinformation Detection

本文将多模态虚假信息检测(MMD)重构为基于概念图的结构化概率推理问题,提出PCGR框架,通过MLLM自动发现并验证人类可理解的概念节点,构建层次化概率概念图,实现可解释的虚假信息检测,在三个基准上全面超越13个baseline。

Revisiting Unknowns: Towards Effective and Efficient Open-Set Active Learning

提出 E2OAL,一个无需额外检测器的开放集主动学习框架,通过标签引导聚类发现未知类潜在结构、Dirichlet 校准辅助头联合建模已知/未知类别,并设计两阶段自适应查询策略,在多个基准上同时实现高准确率、高查询纯度和高训练效率。


🌍 地球科学 (3)

GeoChemAD: Benchmarking Unsupervised Geochemical Anomaly Detection for Mineral Exploration

提出 GeoChemAD 开源基准数据集和 GeoChemFormer 框架,通过空间上下文学习与元素依赖建模实现无监督地球化学异常检测,在8个子集上平均 AUC 达到 0.7712。

MeteorPred: A Meteorological Multimodal Large Model and Dataset for Severe Weather Event Prediction

本文构建了首个大规模灾害天气预警多模态数据集 MP-Bench(42 万对 ERA5 气象场+预警文本),并提出能直接吃 4D 气象张量的多模态大模型 MMLM——通过三个分别作用于时间、空间、垂直气压层的即插即用融合模块,把高维气象数据对齐到 LLM 生成自然语言预警。

SIGMA: A Physics-Based Benchmark for Gas Chimney Understanding in Seismic Images

本文提出首个带真值标注的物理合成地震图像数据集 SIGMA——用波动方程正演+逆时偏移把含气烟囱的速度模型转成地震图像,同时给出像素级气烟囱掩码(用于检测)和"退化—干净"配对图(用于增强),并在两类任务上 benchmark 多个基线,揭示现有方法在该数据上集体吃力。


🩺 医疗 NLP (1)

Towards Efficient Medical Reasoning with Minimal Fine-Tuning Data

提出 Difficulty-Influence Quadrant (DIQ) 数据选择策略,联合考量样本难度和梯度影响力,使 VLM 语言骨干仅用 1% 精选数据即可匹配全量 SFT 性能,10% 数据则可超越全量训练。


📂 其他 (145)

3D-Object Perception Transformer (3PT)

3PT 用一个端到端训练、直接以 CAD 模型为条件的统一 Transformer 框架(检测 + 物体分组 + 迭代精化)替代了现有"冻结基础模型拼装 + 依赖深度"的零样本 3D 物体感知流水线,仅靠多视角 RGB 就在 BOP 系列基准的检测和 6DoF 位姿上大幅超过 SOTA(工业数据集位姿 AP-mm 相对提升 56.5%),并在 BOP Challenge 2025 的 11 个赛道中拿下 7 个第一。

4DWorldBench: A Comprehensive Evaluation Framework for 3D/4D World Generation Models

4DWorldBench 提出一个统一、多模态、物理感知的 3D/4D 世界生成评测框架:把 text/image/video 三种条件全部映射到统一文本空间,沿"感知质量、条件-4D 对齐、物理真实性、4D 一致性"四个维度,用「LLM-as-judge + MLLM-as-judge + 传统度量」的自适应混合策略打分,并通过人类主观实验验证其打分比现有 benchmark 更贴近人的判断。

A2GC: Asymmetric Aggregation with Geometric Constraints for Locally Aggregated Descriptors

针对视觉地点识别(VPR)中"特征聚合靠对称 Sinkhorn"这一假设的失效,A2GC 把最优传输求解器改成非对称(行列归一化平均 + 源/目标边缘分别校准),再叠加一个几何约束分支(用可学习坐标嵌入让空间相邻的特征更倾向分到同一簇),在 Pitts30k 上把 Recall@1 推到 95.6%。

A Debiased Reconstruction-based Framework for Training-Free Detection of AI-Generated Images

针对"基于重建误差的免训练 AI 生成图检测"会被简单背景/大范数隐变量带偏的问题,本文用旋转 + 低通滤波这类"保留偏置因子、破坏取证信息"的增强对重建误差做归一化去偏,在图像级和隐空间级各得到一个去偏分数,相乘融合成统一分数 RDD,在 GenImage、LSUN-Bedroom 等 18 个子基准上取得免训练 SOTA(平均 AUROC 0.981 / 0.940)。

A Difference-in-Difference Approach to Detecting AI-Generated Images

针对"现代扩散模型生成的图像与真图越来越像、一阶重建误差失效"这一痛点,本文把重建做两次、用「重建误差之差」这个二阶差分来抵消重建本身引入的随机扰动、放大真假图之间的微弱信号,再把一阶与二阶误差各训一个分类器联合判定,在跨数据集/跨生成器场景下比最强基线提升约 20%–30%。

A Faster Path to Continual Learning

针对持续学习优化器 C-Flat 每步要多算三次梯度、训练太慢的问题,本文发现一阶平坦度梯度里存在「方向不变」的分量,于是把它缓存下来在后续若干步里复用、跳过冗余的扰动梯度计算,再配上一个随任务推进逐渐放大跳步间隔的线性调度器和一个基于梯度统计量的自适应触发开关,让 C-Flat Turbo 在精度持平甚至略升的同时比 C-Flat 快 1.0×~1.25×(吞吐从约 27% 拉回到约 60%)。

A Unified Framework for Knowledge Transfer in Bidirectional Model Scaling

BoT 把神经网络权重看成"连续信号"、不同大小的模型只是同一信号的不同分辨率离散化,于是用 3D 离散小波变换(DWT)下采样实现大变小(L2S)、用逆变换(IDWT)零填充高频后上采样实现小变大(S2L),首次用一个免训练、无额外参数的框架统一了两个方向的跨架构知识迁移,在 DeiT/BERT/GPT 上最多省 67.1% 预训练 FLOPs。

Accelerating Diffusion via Hybrid Data-Pipeline Parallelism Based on Conditional Guidance Scheduling

针对多 GPU 扩散推理"加速达不到线性、还掉画质"的痛点,本文把 Classifier-Free Guidance 天然的"条件/无条件双路"当成数据并行的切分维度(条件分区),再用一个度量两路噪声差异的指标(去噪差异 rel-MAE)自适应决定何时开/关流水线并行,在 2 张 RTX 3090 上对 SDXL / SD3 分别取得 2.31×/2.07× 加速且几乎不掉画质。

AdaPrior: Bayesian-Inspired Adaptive Prior Correction for Long-Tailed Continual Learning

AdaPrior 把长尾类增量学习(LTCIL)重新理解成"模型诱导先验漂移"问题,用 EMA 在线估计模型自己学到的先验 \(P_m(y)\),再在训练损失和推理后处理两处用它做贝叶斯对齐去偏,单阶段、即插即用,在 CIFAR100-LT / ImageNet-subset-LT / iNaturalist18-subset 上一致超过近期 LTCIL 基线。

Adapting In-context Generation for Enhanced Composed Image Retrieval

本文提出 DAIG:用 32 张目标域样本对预训练 T2I 模型(Flux)做 in-context 微调(CIR-LoRA),让它批量合成"无偏、贴合目标域"的组合图像检索(CIR)三元组,再用一个两阶段训练框架(特征扰动预训练 DRSP + 角度间隔微调 FRA)把这些合成数据喂给任意现成 CIR 模型,在 CIRR/FashionIQ 上以即插即用、零额外推理成本的方式显著涨点。

查看全部145篇「其他」论文 →