🧩 多模态 VLM¶
📷 CVPR2026 · 533 篇论文解读
📌 同领域跨会议浏览: 🧪 ICML2026 (99) · 💬 ACL2026 (94) · 🔬 ICLR2026 (85) · 🤖 AAAI2026 (84) · 🧠 NeurIPS2025 (139) · 📹 ICCV2025 (143)
🔥 高频主题: 多模态 ×274 · 推理 ×94 · LLM ×41 · 对齐/RLHF ×31 · 对抗鲁棒 ×22
- 4DP-QA: Scalable QA for 4D Perception in Vision Language Models
-
本文设计了一条可扩展的时空 QA 自动生成 pipeline,从多种真实/合成 4D 数据源造出 40 万训练样本(4DP-QA)和 2.2K benchmark(4DP-QA-Bench),并提出"真运动点轨迹"(true-motion point tracking)这一新感知任务把物体运动从相机运动中解耦出来;用这套数据微调标准 VLM 后,4D 感知准确率从 ~42% 飙到 ~84%,并能泛化到外部 benchmark VLM4D。
- A3: Towards Advertising Aesthetic Assessment
-
提出A3框架,包含理论驱动的三阶段广告美学评估范式A3-Law(感知注意力→形式兴趣→欲望影响)、12万条标注数据集A3-Dataset、经SFT+GRPO对齐的模型A3-Align以及评测基准A3-Bench,在广告美学自动评估上超越现有MLLM。
- A Causal Marriage between VLM and IRM from Understanding to Reasoning
-
本文从 token 级因果表示出发,证明"词表受限的 InfoNCE"与 IRM 的不变性准则在形式上等价,据此提出无需改架构的中训范式 CLIP-IRM 提升 OOD 理解,并把它的不变对齐分数当作过程级奖励喂给 GRPO,把 IRM 的 OOD 保证一路迁移到多模态推理。
- A More Word-like Image Tokenization for MLLMs
-
DiVT 用一个基于聚类的视觉投影器替换 LLaVA 里的 MLP projector,把 ViT 的 patch 特征按语义聚成"视觉词"、每个簇生成一个 token,token 数量随图像复杂度自适应,仅靠语言建模目标训练;在 8 个多模态 benchmark 上用 1/4 甚至 1/40 的视觉 token 就追平或超过满分辨率基线。
- Abstract 3D Perception for Spatial Intelligence in Vision-Language Models
-
针对 VLM 在 3D 空间推理上的短板,本文提出训练免费的 SandboxVLM:把单张 2D 图通过视频扩散先验补出多视角,再把关键物体抬升成稀疏的「抽象 3D 包围盒」并渲染回喂给 VLM,让 VLM 在零样本下读懂 3D 结构,SAT-Real 上比基线高 17.4%。
- Act2See: Emergent Active Visual Perception for Video Reasoning
-
Act2See 通过监督微调,让视频 VLM 在文本 CoT 推理过程中自己决定何时插入一帧画面——要么从原视频里检索一帧真实证据,要么条件式地"想象生成"一帧反事实画面——从而在 VideoEspresso、ViTIB 等 5 个视频推理基准上刷新或超越同尺寸乃至更大的闭源模型。
- Activation Matters: Test-time Activated Negative Labels for OOD Detection with Vision-Language Models
-
提出 TANL(Test-time Activated Negative Labels),通过在测试时动态评估负标签在OOD样本上的"激活程度"来挖掘最有效的负标签,配合激活感知评分函数,在 ImageNet 基准上将 FPR95 从 17.5% 大幅降至 9.8%,且完全免训练、测试高效。
- Active Perceptual Inference: A Corticothalamic-Inspired Dynamic Nested Recurrent Network for Multimodal Sentiment Analysis with Incomplete Data
-
针对多模态情感分析中"随机帧级缺失"问题,本文把人脑"主动知觉推理"机制搬进网络,提出双层嵌套递归网络 DNRNet:局部回路模拟皮层内的模式补全做模态内自纠错,全局回路模拟皮层-丘脑回路按模态置信度做跨模态加权补全,两路修正信号迭代回灌输入,把"单次前馈被动补全"升级为"多轮主动推理补全",在 MOSI/MOSEI/SIMS 上各缺失率平均涨点 1.5%–2.0%。
- AdaptVision: Efficient Vision-Language Models via Adaptive Visual Acquisition
-
提出 AdaptVision,通过由粗到精的主动视觉机制和强化学习训练,让 VLM 自主决定每个样本所需的最少视觉 token 数量,配合解耦式多轮策略优化 (DTPO) 实现效率与精度的最优平衡。
- Addressing Exacerbated Attention Sink for Source-Free Cross-Domain Few-Shot Learning
-
作者发现:在 source-free 跨域小样本(CDFSL)场景下,标准的目标域少样本微调会显著加剧 CLIP 的 attention sink——模型把注意力都堆到那些天生就和所有类都"沾边"的 simple token 上,丧失类间区分度;为此提出 TIR(Token Importance Recalibration),在 CLIP 视觉编码器的深层之间按 token 与各类文本的"跨类激活程度"(Sum score)线性重加权,压制 sink token、放大判别 token,在四个 CDFSL 基准上刷到新 SOTA。
- Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization
-
作者发现 VLM 存在「风格不一致」漏洞——它能看懂任何画风的内容,却会被特定视觉风格触发器轻易绕过安全对齐;据此提出 ASO,用 GRPO 微调一个图像编辑模型,把最优风格叠加到现有对抗图像上,在 4 个 SOTA VLM 上一致提升各类越狱攻击的成功率(ASR)。
- Agentic Video Summarization via Self-Reflecting Multimodal Understanding
-
把视频摘要从"一次性回归每帧重要性分数"改写成一个由 Summarizer / Verifier / Reflector 三个 MLLM 智能体组成的"预测—验证—反思"闭环工作流,让模型像人一样自我修正、找回被漏掉的关键帧,在 SumMe / TVSum 上的 Kendall's τ、Spearman's ρ 全面超过此前 SOTA。
- AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
-
AGFT 提出了一种对齐引导的微调框架,通过文本引导的对抗训练和分布一致性校准,在增强 VLM 零样本对抗鲁棒性的同时保持预训练的跨模态语义结构,在 15 个零样本基准上平均鲁棒准确率达到 46.57%,超越 SOTA 3.1 个百分点。
- Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow
-
本文发现 VLM 中文本 token 对无关视觉 token 的过度注意力是"看到但感知错误"的根本原因,提出基于 token 动态熵的自适应信息流调控方法(AIF),通过推理时修改因果掩码来阻断无关视觉-文本连接,免训练提升多种 VLM 的感知能力。
- Air-Know: Arbiter-Calibrated Knowledge-Internalizing Robust Network for Composed Image Retrieval
-
针对组合图像检索(CIR)中"部分匹配"型噪声让传统 small-loss 假设失效的问题,本文用 MLLM 离线标一小撮高精度锚点集、再蒸馏出一个轻量贝叶斯判别代理来在线给出可信置信度,并据此把训练数据分成"干净对齐流"和"反馈校正流",从而把仲裁者和学习者解耦、避免表征污染,在高噪声 CIR 设置下显著超过现有 SOTA。
- All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models
-
作者发现 GRPO 训练的 VLM 虽然单次推理更深,却会在训练早期发生"多样性坍缩"、退化成一条主导策略,于是提出 MUPO——把采样回答按推理模式聚类成多个组、组内局部估计优势、组间加多样性奖励,让模型在保持深度的同时维持多种解题策略,在九个推理基准上 acc@1/acc@4 平均提升 2~7%。
- Anchor-Guided Gradient Alignment for Incomplete Multimodal Learning
-
针对高缺失率下"重建样本主导优化、压制完整样本表征"的学习失衡问题,ANGA 用完整样本构造优化锚点、把重建样本的梯度向锚点方向对齐(锥形区域三段式调制),再配一个用检索实例生成动态 prompt 的语义增强适配器,在三个数据集上稳定超过 RAGPT 等 SOTA。
- ANTS: Adaptive Negative Textual Space Shaping for OOD Detection via Test-Time MLLM Understanding and Reasoning
-
ANTS 在测试时让多模态大模型(MLLM)"看懂"被缓存下来的疑似 OOD 图像,一路生成「描述性负句」刻画 far-OOD、生成「视觉相似负标签」刻画 near-OOD,再用一个自适应权重把两套负文本空间动态融合,在 ImageNet benchmark 上零样本、免训练地把 FPR95 降了 3.1%,刷新 SOTA。
- ApET: Approximation-Error Guided Token Compression for Efficient VLMs
-
从信息论角度提出基于线性近似重建误差的视觉 token 重要性评估方法,不依赖 attention 权重,天然兼容 FlashAttention,在 LLaVA-1.5 上压缩 88.9% 视觉 token 仍保持 95.2% 性能。
- ARGUS: Defending Against Multimodal Indirect Prompt Injection via Steering Instruction-Following Behavior
-
ARGUS 发现"跟用户指令 vs 跟注入指令"这两种行为在 MLLM 的激活空间里是线性可分的、且存在一个"安全子空间",于是在推理时往子空间里一个"既能防御又不掉性能"的方向做激活引导,配合注入检测 + 自适应强度 + 后置过滤三阶段,在图像/视频/音频三种模态上把攻击成功率压到近 0、同时几乎不损失模型可用性。
- ARM-Thinker: Reinforcing Multimodal Generative Reward Models with Agentic Tool Use and Visual Reasoning
-
ARM-Thinker 把多模态奖励模型从"一次性打分"改造成一个会主动调工具(裁剪放大、文档检索、指令校验)去找证据的 agent,用"先鼓励调工具、再精炼准确率"的两阶段 GRPO 训练,让 7B 模型在奖励建模、think-with-images、通用推理三类基准上分别平均涨 +16.2% / +9.6% / +4.2%,并在奖励/工具基准上追平甚至超过 GPT-4o。
- Asking like Socrates: Socrates helps VLMs understand remote sensing images
-
揭示遥感VLM中的"伪推理"现象(显式推理链反而导致性能下降),归因于"一瞥效应"(单次粗浅感知不足),提出RS-EoT(Evidence-of-Thought)迭代证据搜索范式,通过SocraticAgent自博弈合成推理轨迹做SFT冷启动,再用两阶段渐进RL(grounding→VQA)增强和泛化,RS-EoT-7B在多个遥感VQA和grounding基准上达SOTA。
- AToken: A Unified Tokenizer for Vision
-
AToken 把图像、视频、3D 资产统一编码进一个共享的稀疏 4D latent 空间,用一套纯 Transformer + 无对抗 Gram 损失同时做到高保真重建和语义理解,单模型在三种模态上都拿到接近专用方法的成绩(图像 0.21 rFID / 82.2% ImageNet,视频 3.01 rFVD,3D 28.3 PSNR / 90.9%)。
- Attention-space Contrastive Guidance for Efficient Hallucination Mitigation in LVLMs
-
ACG 把 LVLM 的幻觉缓解重新表述为「注意力空间里的对比引导」:在同一次前向里用掩码近似出一条「无图(text-only)」注意力路径,与正常的「有图」路径作差去引导生成,再用一个正交投影把作差信号里的「文本方向」分量抹掉,从而在 CHAIR / POPE 上把幻觉压到比 2-pass 对比解码更低、延迟却只有约 1.19× 的水平。
- Authorize-on-Demand: Dynamic Authorization with Legality-Aware Intellectual Property Protection for VLMs
-
AoD-IP 给冻结的 CLIP 加三个轻量投影器,用一枚"凭证 token"把授权域锁成只能凭钥匙激活,既能在部署后按需热插拔新的授权域而不重训主干,又能在每次推理时多输出一路"合法性信号"判定输入是否越权,在多个跨域基准上做到授权域几乎零损失、未授权域准确率大幅塌陷。
- AutoTraces: Autoregressive Trajectory Forecasting via Multimodal Large Language Models
-
AutoTraces 给多模态 LLM(LLaVA-Video)扩出一种
<point>token + Point Encoder/Head 的轨迹表示,把 2D 路点搬进 LLM 隐空间,让模型用原生的自回归机制逐点预测机器人未来轨迹,再配合自动生成的 CoT 推理与两阶段训练,在 SCAND 上长时段、跨场景、任意长度预测全面超过 SOTA。 - AV-Reasoner: Improving and Benchmarking Clue-Grounded Audio-Visual Counting for MLLMs
-
针对多模态大模型"数不清楚"的老毛病,本文一手做了 CG-AV-Counting——首个面向长视频、跨音视频模态、带细粒度"计数线索"标注的可解释计数基准;一手提出 AV-Reasoner,用 GRPO + 课程学习从定位/问答等相关任务里迁移出计数能力,在多个音视频推理基准上刷到 SOTA,但也诚实地指出语言空间里的显式推理在域外几乎没帮助。
- AVA-Bench: Atomic Visual Ability Benchmark for Vision Foundation Models
-
提出 AVA-Bench,首个将视觉基础模型(VFM)的能力解耦为 14 种原子视觉能力(AVA)的系统性评测基准,通过训练-测试分布对齐和单一能力隔离测试,精准定位 VFM 的强项与短板,并发现 0.5B 小模型即可保持与 7B 模型相当的 VFM 排名一致性。
- AXG-Reasoner: Error Detection and Explanation in Long Task Videos with Vision-Language Models
-
针对"长任务视频里检测并解释用户操作错误"这一问题,本文用冻结 VLM + 自动构建的「动作执行图(AXG)」+ 时序动作分割,把每个动作段拆成细粒度子动作、只在子动作关键帧上查询 VLM,从而让模型聚焦于稀疏的时空错误线索,在 EgoPER 和 CaptainCook4D 上的错误解释和错误检测均显著超过 VLM 基线并达到 SOTA。
- β-CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment
-
β-CLIP 把一张长描述拆成「整句 caption → 句子 → 短语」三层文本查询,用 cross-attention 把每个查询动态汇聚成专属的视觉特征,再用一个带 β 调节的对比损失(β-CAL)处理这些层级特征之间天然的语义重叠,在不使用任何 hard negative 的情况下把细粒度检索 FG-OVD(Hard) 拉到 30.9%、Urban1K 检索拉到 91.8/92.3%,刷新了「无 hard negative」设定下的 SOTA。
- BALM: A Model-Agnostic Framework for Balanced Multimodal Learning under Imbalanced Missing Rates
-
BALM 提出一个模型无关的即插即用框架来解决不均衡缺失率(IMR)下的多模态学习问题,通过特征校准模块(FCM)对齐不同缺失模式下的表征、以及梯度再平衡模块(GRM)从分布和空间两个维度平衡各模态的优化动态,在多个多模态情感识别基准上持续提升各类骨干网络的鲁棒性。
- Benchmarking Single-Factor Physical Video-to-Audio Generation
-
本文提出 FlatSounds——一个用"单因素反事实干预 + 单视频模式测试"审计视频到音频(V2A)模型物理推理能力的基准,揭示出当前 SOTA 模型其实是从文字 caption 里"抄"物理与语义、而非从像素学到物理,且 caption 越强、时间对齐越差。
- Benchmarking Vision-Language Models under Contradictory Virtual Content Attacks in Augmented Reality
-
构建首个 AR 环境下矛盾虚拟内容攻击基准 ContrAR(312 个真实 Meta Quest 3 录制视频,10 名标注者验证,平均 Likert 4.66/5),系统评估 11 个 VLM(含 GPT-5/Gemini-2.5/Grok-4)的语义矛盾检测能力,发现 GPT-5 准确率最高(88.14%)但延迟 19s,GPT-4o 在准确率-延迟平衡最佳(84.62%/7.26s),OCR 纯文本基线仅 56%,证明视觉推理不可或缺。
- Better, Stronger, Faster: Tackling the Trilemma in MLLM-based Segmentation with Simultaneous Textual Mask Prediction
-
STAMP 把 MLLM 分割重述为对所有图像 patch 的并行"填空"分类任务,用一次非自回归前向同时预测整张掩码,从而在不损害对话能力的前提下同时拿到高分割精度和快推理速度,破解了 MLLM 分割长期存在的"对话/性能/速度"三难。
- Beyond 3D VQAs: Injecting 3D Spatial Priors into Vision-Language Models for Enhanced Geometric Reasoning
-
GASP 不再用 3D VQA 数据微调 VLM,而是往 LLM 的每一层 transformer 里塞一个轻量"对应头",用真实视频场景的点对应和深度做深监督,把模型内部"换视图后跨帧匹配"的能力从 <5% 拉到 70%+,在 All-Angles / VSI-Bench 等空间推理 benchmark 上零 3D VQA 训练就涨 18~29%。
- Beyond Graph Model: Reliable VLM Fine-Tuning via Random Graph Adapter
-
把 VLM 文本适配器里"每个类别 = 一个确定向量"换成"每个类别 = 一个高斯分布",用 LLM 生成的多样化描述初始化分布、再在类别图上做概率消息传播,并配一个按预测确定度(峰度)动态融合多骨干的方案,在 11 个数据集的少样本分类与 OOD 泛化上稳定超过 GraphAdapter / AMU-Tuning 等 SOTA。
- Beyond Heuristic Prompting: A Concept-Guided Bayesian Framework for Zero-Shot Image Recognition
-
将 VLM 零样本图像识别重构为贝叶斯框架,通过 LLM 驱动的多阶段概念合成流水线构建概念提案分布,并用自适应 soft-trim 似然函数抑制离群概念影响,在 11 个分类基准上优于 SOTA 方法。
- Beyond Missing Modalities: Hypergraph Guided Diffusion for Uncertainty-Aware Multimodal Emotion Recognition
-
针对对话多模态情感识别(MERC)中音/文/视模态随机缺失的问题,HyperEF 用一个掩码超图注意力网络(MHGAT)捕捉对话里的高阶多元依赖,再以它为条件引导扩散模型在隐空间补全缺失模态特征,最后用双通道证据融合(DCEF)从"特征来源"和"判别"两个层面量化不确定性来自适应融合各模态,在 IEMOCAP / MELD 的全部缺失率下都刷新了 SOTA。
- Beyond Multiple Choice: Verifiable OpenQA for Robust Vision-Language RFT
-
这篇论文指出多选题(MCQA)格式会泄露可被模型利用的选项信号、让评测虚高也让 RFT 学到"猜选项"的捷径,提出 ReVeL 框架把 MCQA 按答案类型自动改写成"开放式但仍可规则验证"的 OpenQA,用它改写 20k 样本做 GRPO 微调后开放式准确率提升约 6 个百分点、选择题分数不掉,同时作为评测工具揭示出 MCQA 相对 OpenQA 高达 20 个百分点的分数虚高。
- Beyond Perceptual Shortcuts: Causal-Inspired Debiasing Optimization for Generalizable Video Reasoning in Lightweight MLLMs
-
本文发现 RL(GRPO)微调会逼着轻量级(3B)视频 MLLM 走"感知捷径"而非真推理,于是先训一个专门学捷径的"偏置模型",再用一个把 KL 散度符号反过来的排斥式目标(CDPO)把主模型从偏置模型推开,仅用 1% 数据就在 CLEVRER 上比 GRPO 提升 14.2%。
- Beyond Sequential Tools: A Unified VLM Agent System for Photographic Post-Processing via Dynamic Multi-Expert Fusion
-
让一个 VLM 当"大脑"诊断图像里耦合的多种退化、给每种退化分配一个权重,再把对应的专家 LoRA 按权重一次性融进扩散骨干,单次前向就完成"去雨+去雾+去模糊"的协同修复——既避开 all-in-one 模型的泛化不足,又躲开 agentic 方法串行调用工具导致的误差累积。
- Beyond Single Images: A Comprehensive Benchmark for Album-Level Vision-Language Understanding
-
本文提出 AlbumBench——首个面向"相册整理"的综合基准,把相册操作拆成意图选片、意图打分、分组标注、分组聚类四类任务,用 27,051 张图 / 641 个相册评测 20 种主流 VLM 配置,发现开源与闭源差距明显、思考模式能大幅提升分组任务但成本高昂、且 VLM 在相册任务上几乎不比"只看一句相册描述"强多少。
- Beyond Weak Supervision: MLLMs-Guided Graded Knowledge Distillation for Unsupervised Camouflaged Object Detection
-
针对无监督伪装目标检测(UCOD)"监督信号弱、伪标签用不好"两大痛点,本文用 MLLM+SAM 组成一个冻结的教师模型生成高质量伪标签,并通过伪装感知思维链(CA-CoT)、分级掩码评估器(GME)和分级知识蒸馏(GKD)三件套保证伪标签质量并按质量差异蒸馏给学生网络,最终大幅超越已有 UCOD 方法、并在零样本设置下也很能打。
- Beyond What's Shared: Recovering Lost Unique Information from Intermediate Layers to Boost Multimodal Geo-Foundation Models
-
作者发现多模态对比模型(如 SatCLIP)的中间层保留了被最终对齐层丢掉的模态特异(unique)信息,于是提出无需任何额外训练目标或外部模型的 BWS——把中间层和最终层表征做深度加权拼接,仅靠这一步就在 7 个地理空间下游任务上稳定涨点。
- Bias Is a Subspace, Not a Coordinate: A Geometric Rethinking of Post-hoc Debiasing in Vision-Language Models
-
作者发现 VLM 嵌入里的人口学偏见并不集中在少数几个坐标维度上、而是分布在若干个线性子空间里,于是提出 SPD:用 INLP 迭代学出"能线性预测敏感属性"的整个偏见子空间,把嵌入投影到它的正交补(零空间)以彻底抹掉可解码的属性信号,再回注一个中性均值保住语义;在零样本分类、文搜图检索、图像生成三类任务上,四个公平性指标平均提升 18.5% 而几乎不掉精度。
- BiomedCCPL: Causal Conditional Prompt Learning for Biomedical Vision-Language Models
-
针对生物医学 VLM 在「同一数据集内未见类」上泛化差的问题,BiomedCCPL 用 VGAP 模块从多尺度自适应视觉原型动态生成图像条件提示、再用 SCD 模块按 front-door 准则把提示拆成因果/非因果双通路做去混淆,在 11 个数据集 9 种模态上把 Base-to-Novel 的平均 HM 从 73.53% 提到 79.98%(+6.45%)。
- Boosting Document Parsing Efficiency and Performance with Coarse-to-Fine Visual Processing
-
PaddleOCR-VL 用一个轻量"先定位有效区域、再逐块精识别"的粗到细两阶段框架,把高分辨率文档里大量冗余背景挡在 VLM 之外——只用 0.9B 参数和约 2.5k 视觉 token,就在 OmniDocBench v1.5 上拿到 92.62 的总分 SOTA,同时吞吐量比最强基线再高 50%。
- Boosting Reasoning in Large Multimodal Models via Activation Replay
-
作者用 logit lens 发现 RLVR 后训练会"过度"扰动多模态大模型的低熵输入激活,进而提出 Activation Replay——一种免训练、测试时通过优化一组可学习视觉 token、把 RLVR 模型的低熵激活拉回 base 模型分布的方法,在数学、o3 式视觉智能体和视频推理上一致涨点。
- Boosting Vision-Language Models Towards Cross-Domain Incremental Object Detection
-
针对"跨域增量目标检测"这一更现实的场景,本文先建了 CDIOD 基准(让检测器依次学自然场景、水下、遥感三个域的子任务),再提出 DGS 框架:按分布相似度把任务动态分组、组内用可扩展 LoRA 适配器共享子空间、并在分组路由下推理,在 CDIOD 上以仅 +1.2% 参数取得 +11.4 AP 的 SOTA。
- Boosting Visual Reprogramming for CLIP with Dual Granularity Alignment
-
针对 CLIP 视觉重编程(只训练输入端的视觉提示、冻结黑盒 CLIP)只做"单层对齐"的缺陷,本文提出 DGA,从数据里挖出两种被忽略的结构信息——语义粒度(标签层级)和视觉粒度(多尺度),用 PLH+HKP 做层级语义对齐、用多尺度裁剪+UPF 做不确定性加权的视觉对齐,两路协同融合,在 12 个识别数据集上比上一代 SOTA(DVP)平均提升 4.5%。
- BOP-Ask: Object-Interaction Reasoning for Vision-Language Models
-
本文把 6D 物体位姿基准 BOP 自动改造成一个含 150K 图像、33.8M 问答对、覆盖六类技能(位姿/抓取/轨迹/重排/空间/深度)的大规模物体交互推理数据集 BOP-Ask,用它微调开源 VLM 后不仅在自建测试集上大幅超越 GPT-5、Gemini,还能迁移到域外空间推理基准并驱动真实 Franka 机器人完成 10/15 抓放任务。
- Breaking Multimodal LLM Safety via Video-Driven Prompting
-
本文揭示视频模态比图像模态更容易越狱多模态大模型,并提出 SPTV:把有害排版图通过二分图匹配编织成一段"在表征空间里贴近安全数据、帧间又足够多样"的视频,在 16 类安全策略、5 个开闭源 MLLM 上把越狱成功率刷到 SOTA(平均 36.4%),同时给出一个有效的视频感知系统提示防御。
- Breaking the Illusion: When Positive Meets Negative in Multimodal Decoding
-
针对视觉语言模型(VLM)"过度依赖语言先验、忽视视觉证据"导致的物体幻觉,本文提出训练无关的 Positive-and-Negative Decoding(PND):用外部 BLIP 跨模态注意力定位视觉证据区域,构造"放大证据"的正路径和"抹除证据、暴露先验"的负路径,在每步解码时对三路 logits 做对比融合,把生成拉向视觉事实,POPE 上准确率最高提升 6.5%。
- Breaking the Regional Perception Bottleneck of Multimodal Large Language Models via External Reasoning Framework
-
本文先剖出多模态大模型(MLLM)做像素级定位(grounding)的真瓶颈不在"看清区域"而在"把区域翻译成坐标"的语义精炼阶段,再用一套基于多模态蒙特卡洛树搜索(MCTS)的外置推理框架 R-Ground,把算力定向投到该阶段,让 7B 模型在 RefCOCO 系列上反超 72B。
- Bridging the Modality Gap in Compositional Zero-Shot Learning via Sparse Alignment and Unimodal Memory Bank
-
针对组合零样本学习(CZSL)中 CLIP 固有的「模态鸿沟」,本文提出 SAM 三阶段框架——稀疏对齐挑出与文本最相关的图像 patch 以削减冗余视觉信息、视觉自适应凝练把关键线索压缩进单一表示、动态记忆库用纯视觉分类绕过模态鸿沟,在三个基准的闭世界/开世界设置上全面超越 CLIP-based 方法。
- BriMA: Bridged Modality Adaptation for Multi-Modal Continual Action Quality Assessment
-
提出 BriMA,通过记忆引导的桥接补全和模态感知回放机制,解决多模态持续动作质量评估中非平稳模态不平衡问题,在三个基准上平均提升 6-8% 相关系数、降低 12-15% 误差。
- CADFS: A Big CAD Program Dataset and Framework for Computer-Aided Design with Large Language Models
-
CADFS 把工程师在 Onshape 平台真实创作的 45 万个 CAD 模型重建成干净可执行的 FeatureScript 代码,配上自动生成的文本与多视图标注,让 VLM 第一次能生成超出"草图+拉伸"的复杂设计历史(fillet、loft、revolve 等 15 种操作),在文本生成与图像重建两个任务上都刷新 SOTA。
- Camouflage-aware Image-Text Retrieval via Expert Collaboration
-
本文首次把"图文检索"搬到伪装场景,构建了 1.05 万样本的 CamoIT 数据集,并提出双分支 + 置信度条件图注意力(C2GA)的 CECNet:用一个 COD 专家把伪装目标从背景里"抠"出来单独编码,再有选择地融回全局表征,最终在伪装图文检索(CA-ITR)上把整体准确率拉高约 29%,超过 7 个主流检索模型。
- Can Vision-Language Models Count? A Synthetic Benchmark and Analysis of Attention-Based Interventions
-
构建了一个合成计数基准数据集,系统评估了开源 VLM 在不同图像/提示条件下的计数能力,并通过解码器层面的视觉注意力重加权实验探索改善计数行为的机制。
- Can We Build Scene Graphs, Not Classify Them? FlowSG: Progressive Image-Conditioned Scene Graph Generation with Flow Matching
-
FlowSG 把场景图生成从"一次性分类"改造成"渐进式生成"——用混合离散-连续 flow matching,让一张被噪声污染的图随时间逐步长出物体框(连续 CFM)和谓词标签(离散 DFM),在 VG / PSG 的闭集与开放词表设定上比 SOTA(USG-Par)平均高约 3 个点。
- CapNav: Benchmarking Vision Language Models on Capability-conditioned Indoor Navigation
-
CapNav 提出一个"能力条件导航"评测基准:给 VLM 一段室内巡游视频、一张导航图、一个带物理/操作能力的智能体画像和一个"从 A 到 B"的任务,看它能否判断该智能体在这个空间里到底能不能走通、走哪条路;在 13 个主流 VLM 上的实验显示,一旦给智能体加上移动约束(不能上楼梯、过道太窄),导航性能就断崖式下跌。
- CAPT: Confusion-Aware Prompt Tuning for Reducing Vision-Language Misalignment
-
提出 CAPT 混淆感知 prompt tuning 框架,通过语义混淆挖掘器(SEM)和样本混淆挖掘器(SAM)显式建模 VLM 的系统性误对齐模式,配合多粒度差异专家(MGDE)融合不同层次的混淆信息,在 11 个基准上取得 HM 83.90% 的最优表现。
- CaptionQA: Is Your Caption as Useful as the Image Itself?
-
CaptionQA 把"图像描述好不好"重新定义为"这段 caption 能不能替图像撑起下游任务",用一个纯文本 LLM 仅凭 caption 去答 33,027 道密集多选题,直接量出 caption 相对原图损失了多少可用信息——结果发现连最强闭源模型都掉 9–16%,开源模型在 Embodied AI 上甚至掉超过 40%。
- CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal Reasoning
-
CARE 是一套"以失败为中心"的多模态推理 RLVR 后训练框架:把组内最佳 rollout 当锚点、围绕它挑一小撮"差一点就对"的难负样本做子组内 z-score 归一化并只压制负样本,再对代表性失败做一次结构化反思重采样,把"近似错误"变成监督信号,在 Qwen2.5-VL-7B 上六个可验证视觉推理基准 macro 平均比 GRPO 高 4.62 分。
- CASPA: Graph-Structured Concept Anchors for Modality-Agnostic Adaptation in Vision-Language Models
-
CASPA 把 CLIP 的下游适配从"每个类各学一套 prompt"改成"所有类共享一组语义锚点(anchor),每个类只学一个在锚点上的软分布",再用跨模态一致性正则把文本锚点和视觉锚点对齐,在冻结 backbone、只引入 1.1M 参数(占 CLIP 0.73%)的前提下,于 Base-to-Novel、跨数据集迁移、few-shot 等四套设置、11 个数据集上达到或超过 SOTA。
- Chain-of-Frames: Advancing Video Understanding in Multimodal LLMs via Frame-Aware Reasoning
-
本文提出 Chain-of-Frames(CoF),让视频 LLM 在单阶段推理里直接用「Frame-k」这样的帧编号去引用关键帧、把时序定位写进 CoT 文本本身,再用一条低成本数据管线造出 16.4 万条带帧引用的训练样本微调 InternVL,在 5 个视频理解 benchmark 上平均涨 3.8%~5.1%,且发现纯合成数据就能带来显著提升。
- Chain-of-Thought Guided Multi-Modal Object Re-Identification
-
CoT-ReID 让多模态大模型对 RGB/近红外/热红外三模态目标"边看边推理",把推理链文本拆成早期、后期、决策三个层级去引导视觉特征学习,在四个多光谱 ReID 数据集上刷新 SOTA(如 MSVR310 mAP 71.7%)。
- Chart-FR1: Visual Focus-Driven Fine-Grained Reasoning on Dense Charts
-
针对子图密集、图例标注繁多的「高信息密度图表」,Chart-FR1 用
<focus>标签把推理步骤显式锚定到 OCR 文本和局部框区域(Focus-CoT),再用带「信息效率奖励 + 自适应 KL 惩罚」的 Focus-GRPO 做强化学习,把 Qwen2.5-VL-7B 在五个图表 benchmark 上平均拉高 6.1%,并反超 GPT-4o。 - ChartR: Evaluating Reasoning Accuracy and Robustness in Chart Question Answering
-
ChartR 把每道图表问答题拆成 4–10 个有依赖关系的子问题、再给每张图配 4 种视觉扰动变体,用 8 个指标同时考"每一步推理对不对"和"扰动下稳不稳",在 12 个 MLLM 上揭示出:整链全对率普遍低于 10%、数值读取是最大瓶颈、且模型严重依赖图中文字标注而非真正的视觉理解。
- CICA: Coupling Confidence-Aware Pretraining with Confidence-Informed Attention for Robust Multimodal Sentiment Analysis
-
CICA 让每个单模态编码器在预训练时学会"自评"信号可靠性(输出置信度 \(s_m\) 和不确定度 \(u_m\)),再用这两个信号去调制一个置信度感知注意力的输出,从而在文本/视觉/语音相互矛盾或缺失时自适应地放大可信模态、压制噪声模态,在 MOSI/MOSEI/CH-SIMS/CH-SIMSv2 四个基准上刷新 SOTA。
- Circuit Tracing in Vision-Language Models: Understanding the Internal Mechanisms of Multimodal Thinking
-
提出首个面向 VLM 的电路追踪框架,在 Gemma-3-4B 中训练 per-layer transcoder 并构建归因图,揭示了多模态推理的层次化整合机制、视觉数学电路和六指幻觉的内部成因,并通过 steering 和 circuit patching 验证电路的因果可控性。
- CLIP-Free, Label-Free, Unsupervised Concept Bottleneck Models
-
提出 TextUnlock 方法将任意冻结视觉分类器的输出分布对齐到视觉-语言对应空间,进而构建无需CLIP、无需标签、无需训练线性探针的全无监督概念瓶颈模型 (U-F²-CBM),在40+模型上超越有监督CLIP-based CBM。
- CLIP-like Model as a Foundational Density Ratio Estimator
-
本文把 CLIP / SigLIP 这类对比训练的图文模型重新解读为"现成的密度比估计器"——对比目标隐式优化的相似度分数正比于对数密度比,由此免训练地导出两个新能力:单 prompt 的重要性加权预训练(F1 最高 +7 分)和图文 KL 散度估计(衡量语义多样性、并据此做数据筛选,效果与 LAION2B 过滤相当)。
- Cluster-Aware Neural Collapse Prompt Tuning for Long-Tailed Generalization of Vision-Language Models
-
CPT 把"神经坍缩 / ETF 等角分离"约束从全局所有类收缩到预训练 VLM 自带的语义簇内部,再配一个把可学习文本原型拴回冻结原型的旋转稳定损失,从而在长尾提示微调里提升尾类可分性,同时不破坏 CLIP 的全局语义层级——在 11 个数据集上超过 DPC/DeKg/NPT 等 SOTA。
- Concept-wise Attention for Fine-grained Concept Bottleneck Models
-
CoAt-CBM 通过可学习的概念级视觉 query 和概念对比优化(CCO)实现了自适应细粒度图像-概念对齐,在保持高可解释性的同时超越现有概念瓶颈模型和黑盒模型。
- CodeDance: A Dynamic Tool-integrated MLLM for Executable Visual Reasoning
-
提出CodeDance,将可执行代码作为视觉推理的通用求解器——MLLM生成代码来定义、组合和执行多种工具,渲染中间视觉结果(bbox/线/图表)支持可审查的推理链,通过平衡探索与效率的工具调用奖励做RL训练,在RL中涌现出未见过的工具调用组合和跨任务迁移行为,7B模型在计数/视觉搜索/图表QA上超越GPT-4o。
- CodeMMR: Bridging Natural Language, Code, and Image for Unified Retrieval
-
针对"代码检索只看文本、忽略代码渲染出来长什么样"这一缺口,本文造了首个多模态多语种代码检索基准 MMCoIR(5 个视觉域 / 8 种语言 / 11 个库),并基于 Qwen2VL 用指令条件对比学习训出统一模型 CodeMMR,把文本、代码、图像投到同一语义空间,nDCG@10 平均超过 VLM2Vec-v2/GME 等强基线约 10 分,接入 RAG 还能提升图生代码的执行率与视觉保真度。
- CodePercept: Code-Grounded Visual STEM Perception for MLLMs
-
通过系统性缩放分析发现感知(perception)而非推理(reasoning)是 MLLM 在 STEM 领域的真正瓶颈,提出以可执行 Python 代码为锚定媒介的 CodePercept 范式——构建 100 万级 ICC-1M 数据集和 STEM2Code-Eval 基准,在 SFT+RL 两阶段训练后显著提升 MLLM 的 STEM 视觉感知和下游推理能力。
- CodeV: Code with Images for Faithful Visual Reasoning via Tool-Aware Policy Optimization
-
这篇论文发现"会用图思考"的视觉智能体常常答对但工具用得不忠实(裁错区域却蒙对答案),提出 CodeV——把视觉工具表示成可执行 Python 代码、并用 Tool-Aware Policy Optimization (TAPO) 在 GRPO 上加一个只看工具输出、不看思维链的过程级稠密奖励,结果在 10 个基准上保持甚至超越准确率的同时,把忠实工具调用率提升到基线的 1.3–2 倍。
- CogniVerse: Revolutionizing Multi-Modal Retrieval-Augmented Generation with Cognitive Reflection and Geometric Reasoning
-
CogniVerse 把"人脑式反思—检索—综合"三步搬进多模态 RAG:先用一个认知反思模块判断"这题要不要查外部知识、查回来的内容相不相关",再把图文与知识图谱对齐到双曲空间并用谱图理论裁出查询相关子图,最后用最优传输损失生成兼顾局部准确与全局连贯的答案,在三个 MMQA 数据集上准确率、连贯度、检索精度全面超过 MuRAG/MMCoQA/GraphRAG,同时还降低了检索延迟。
- CoMP: Collaborative Multi-Mode Pruning for Vision-Language Models
-
CoMP 提出协同多模式剪枝框架,通过协同重要性度量(CIM)消除参数和 token 剪枝指标间的不一致性,通过多模式剪枝策略(MPS)自适应选择每阶段的最优剪枝模式,在高剪枝比例下显著优于单模式和简单联合剪枝方案。
- Conan: Progressive Learning to Reason Like a Detective over Multi-Scale Visual Evidence
-
Conan 让 7B 视频多模态大模型像侦探一样工作:先把帧分成证据/上下文/干扰三类,再边推理边决定"取证够了就答、不够就再调帧",靠自建的 Conan-91k 数据集 + 三阶段冷启动 + 联合奖励 RLVR 训出来,六个多步推理基准平均比基座 Qwen2.5-VL-7B 涨 10.5%,多数榜超过 GPT-4o。
- Concept-Aware Batch Sampling Improves Language-Image Pretraining
-
本文把"数据筛选"从离线、样本级、概念无关的过滤,改成在线、批级、概念感知的采样:先给 1.28 亿图文对标注细粒度概念(DATACONCEPT),再用一个可插拔打分函数 CABS 在训练时实时从超批里挑出符合目标概念分布的子批——分类用"多样性最大化"、检索用"频次最大化",在 28 个 benchmark 上分类涨 7%、检索涨 9.1%。
- Concept Regions Matter: Benchmarking CLIP with a New Cluster-Importance Approach
-
提出一种免训练的 CLIP 解释方法 CCI(把图像 patch 聚成语义簇、逐簇屏蔽注意力、用相似度下降量化每簇贡献),用它揭示「CLIP 的错误大多不是背景依赖、而是细粒度混淆」,并配套构建受控变体基准 COVAR 系统评测 18 个 CLIP 变体的虚假相关倾向。
- Condensed Test-Time Adaptation of VLMs for Action Recognition
-
针对训练免微调的缓存式测试时自适应(TDA)里「视觉-视觉对齐被外观主导、视觉-文本对齐被语义主导」造成的映射链非传递性,CONDA 用文本语义反过来指导视觉缓存的构建——只把和动作语义正相关的 patch 浓缩进缓存(PSPS)并扩成时空 tube(ATC),在 7 个动作识别基准上平均稳超 TDA 1~3.5%,且可即插即用到任意 VLM。
- ConeSep: Cone-based Robust Noise-Unlearning Compositional Network for Composed Image Retrieval
-
针对组合图像检索(CIR)中三元组标注噪声里最棘手的「硬噪声」(参考图与目标图高度相似但修改文本错误),本文提出 ConeSep:先用锥形空间几何边界量化每个样本的匹配保真度做噪声分离,再为每个 query 学一个「对角负组合」作为显式语义反锚点,最后把噪声纠偏建模成最优传输问题做定向遗忘,在 FashionIQ / CIRR 上各噪声率下都超过 TME、HABIT、INTENT 等 SOTA。
- Conflict-Aware Adaptive Cross-Reconstruction for Multimodal Sentiment Analysis
-
针对多模态情感分析中"同一样本里语言/视觉/音频情感极性互相矛盾"这个被忽视的痛点,CACR 先在共享子空间里量化每个模态的情感冲突分数,再用一个带冲突权重的交叉重构模块隐式对齐共享语义、压制冲突模态,并用细粒度情感精化补充文本语义,在三个标准数据集上全面超过现有 SOTA。
- Consensus Entropy: Harnessing Multi-VLM Agreement for Self-Verifying and Self-Improving OCR
-
本文提出 Consensus Entropy(CE)——一个免训练、模型无关的指标,用"多个 VLM 对同一张图的 OCR 结果是否收敛"来无监督地判断输出可靠性,并基于它搭出 CE-OCR 框架(共识熵加权集成 + 熵阈值路由到更强模型重写),在 OCRBench 等数据集上把质量验证 F1 比 VLM-as-Judge 提升 42.1%、OCR 准确率提升 8.2% 且只路由 7.3% 样本。
- Continual Learning with Vision-Language Models via Semantic-Geometry Preservation
-
提出 SeGP-CL,通过对抗锚点探测旧-新语义边界的脆弱区域,结合锚点引导的跨模态几何蒸馏(ACGD)和文本语义几何正则化(TSGR),在无样本回放条件下有效保持 VLM 的跨模态语义几何结构,显著缓解灾难性遗忘。
- Controllable Federated Prompt Learning at Test Time
-
针对联邦提示学习模型部署后遇到新域分布偏移就崩的问题,本文首次提出测试时联邦提示学习(TTFPL)设定,并用 COTE 框架在「全局 / 本地 / 原始 CLIP」三套提示之间,靠一个自定义的模型-数据对齐分数 MoDA 在线无标注地动态择优,在五个基准的跨域设置上把平均精度提了 6%+。
- CoRiM: Conflict-driven Risk Minimization for Dynamic Multimodal Fusion
-
本文把动态多模态融合重新定义为一个「逐样本、直接最小化冲突风险」的优化问题:设计了一个可微的模态冲突风险函数 \(R(w)\)(融合不确定性 + 模态置信先验 + JS 一致性),并用免投影的 Frank-Wolfe 算法在概率单纯形上求最优模态权重,从而在高冲突、强噪声场景下显著超越 QMF/PDF 等 SOTA。
- CountGD++: Generalized Prompting for Open-World Counting
-
CountGD++ 把开放世界目标计数的"提示"做泛化:既能用文本+视觉示例说"数什么",也能用文本+视觉示例说"别数什么",还能让模型自己生成视觉示例(伪示例)、从外部/合成图借示例,并把自己包装成 LLM 调用的计数专家 Agent——在 8 个数据集上不微调就大幅提升计数与检测精度(血细胞 MAE 从 ~11.5 降到 1.52)。
- CoV-Align: Efficient Fine-grained Cross-Modal Alignment with Cohesive Visual Semantics Priority
-
CoV-Align 提出"先把图像 patch 在没有文本参与的情况下聚合成语义区域、再做区域-词对齐"的细粒度图文检索框架,用可变形注意力 + 一致性分配注意力生成区域、再用空间集中损失和视觉对比损失收紧区域质量,在 Flickr30K / MS-COCO 上刷新 SOTA 的同时比文本引导方法快 3–5 倍。
- CoVFT: Context-aware Visual Fine-tuning for Multimodal Large Language Models
-
发现 MLLM 中视觉编码器微调的"视觉偏好冲突"问题,提出 CoVFT 框架,通过上下文向量提取(CVE)和上下文混合专家(CoMoE)实现上下文感知的视觉微调,在 12 个多模态基准上达到 SOTA 且稳定性显著优于现有方法。
- CoVR-R: Reason-Aware Composed Video Retrieval
-
CoVR-R 提出了推理优先的零样本组合视频检索框架,利用大型多模态模型(Qwen3-VL)显式推理编辑操作隐含的"后效应"(状态转换、时间阶段、镜头变化等),并构建了包含结构化推理轨迹和困难干扰项的 CoVR-R 基准来评估推理能力,在检索准确率上大幅超越现有方法。
- CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning
-
提出基于图结构的自动数据生成 pipeline,构建了 CRIT 数据集与 benchmark,用于训练和评测 VLM 在交错图文内容上的跨模态多跳推理能力,训练后的模型在 SPIQA 等多个基准上取得显著提升。
- CropVLM: Learning to Zoom for Fine-Grained Vision-Language Perception
-
提出CropVLM——一个256M参数的轻量裁剪网络,通过GRPO强化学习训练(无需人工标注边界框),动态选择图像最有信息量的区域供VLM聚焦,可与开源和商用VLM即插即用地提升细粒度视觉理解性能。
- CrossHOI-Bench: A Unified Benchmark for HOI Evaluation across Vision-Language Models and HOI-Specific Methods
-
提出 CrossHOI-Bench,首个统一评估 VLM 和 HOI 专用模型的多选题 HOI 基准,通过精心策划的正负例避免不完整标注的错误惩罚,揭示大型 VLM 零样本在 Instance-F1 上超越 SOTA HOI 方法 +5.18%,但在多动作识别和跨人归因上仍存在系统性弱点。
- Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens
-
提出 CubiD,首个在高维表征 token(768维)上做离散扩散生成的模型,通过在 \(h \times w \times d\) 三维张量上进行细粒度 mask 预测实现高质量图像生成,同时保留理解能力。
- CURVE: A Benchmark for Cultural and Multilingual Long Video Reasoning
-
CURVE 是一个完全由本地专家人工标注的多文化、多语言长视频推理基准(18 个地区/语言、540 个视频、2400 道题),并配套一套基于"证据图 + 迭代误差隔离"的细粒度错误诊断方法;评测显示最强模型 Gemini-2.5-Pro 聚合准确率仅 45%,远低于人类的 95%,且 75% 的失败源于对文化视觉元素的感知错误。
- Customized Visual Storytelling with Unified Multimodal LLMs
-
提出 VstoryGen 框架和核心组件 CustFilmer,基于统一多模态大语言模型(UMLLM)实现多模态故事定制生成,支持文本描述、角色/场景参考图像和镜头类型的联合条件控制,并构建了 MSB 和 M2SB 两个新 benchmark。
- DeAR: Fine-Grained VLM Adaptation by Decomposing Attention Head Roles
-
提出 DeAR,通过 Concept Entropy 指标将 ViT 深层注意力头分解为属性头/泛化头/混合头三类功能角色,并设计基于角色的注意力掩码机制精确控制信息流,在15个数据集上实现任务适配与零样本泛化的最佳平衡。
- Decouple to Generalize: Context-First Self-Evolving Learning for Data-Scarce Vision-Language Reasoning
-
针对化学、地球科学、多模态数学这些缺高质量标注的专业领域,DoGe 把 VLM 的强化学习自进化拆成"认知过程解耦"(先让 Thinker 抛开题目只读上下文做分析、再让它解题)和"数据解耦"(知识池 + 种子题库的迭代课程合成)两条线,用一个两阶段 RL 循环避免合成数据导致的 reward hacking 和熵塌缩,3B/7B 模型在 7 个 benchmark 上平均提升 5.7% / 2.3%。
- Decoupled and Reusable Adaptation for Efficient Cross-Modal Transfer
-
把"将 RGB 基础模型迁移到红外/深度/事件等非 RGB 模态"的过程拆成"一次性学模态知识(自监督训出可复用的模态 LoRA)+ 轻量学任务知识(任务提示 + 模态专家混合)"两段,从而在换任务时不必从头重训,在 6 个跨模态场景上同时拿到数据、计算、存储三重效率优势。
- Decoupling Stability and Plasticity for Multi-Modal Test-Time Adaptation
-
提出 DASP,通过冗余度评分诊断偏置模态,再用非对称适应策略解耦稳定性与可塑性,解决多模态测试时适应中的负迁移和灾难性遗忘问题。
- DeepAlign: Mitigating Modality Conflict through Modality-Specific Alignment
-
针对多模态大模型里"视觉一接进来反而把语言能力拖累、又抓不住图里细节"的模态冲突,DeepAlign 用一个即插即用的后训练框架——一边用分类器梯度把视觉表征里的"模态特异成分"挑出来、推向 LLM 的文本嵌入空间,一边把 DINOv2 的 patch 结构关系蒸馏进 MLLM 的视觉隐状态——只训练插入的 adapter(200M 参数),就在三种主流 MLLM 上跨十余个 benchmark 稳定涨点,还顺带激活了多模态上下文学习等涌现能力。
- Deeper Thought, Weaker Aim: Understanding and Mitigating Perceptual Impairment during Reasoning in Multimodal Large Language Models
-
本文发现多模态大模型在「想得越多」的 CoT 推理模式下视觉注意力会空间发散、漂离问题相关区域(看得越久、瞄得越偏),并据此提出免训练的 VRGA 框架:用「熵-聚焦」准则自动挑出真正处理视觉的注意力头、定位问题相关区域、再在生成阶段对这些区域加权,从而在不重训模型的前提下恢复视觉接地、降低跑题、提升 VQA 综合得分(跨模型规模 1–6 分)。
- DeepSketcher: Internalizing Visual Manipulation for Multimodal Reasoning
-
提出DeepSketcher套件——包含31k高质量代码渲染的图文交错CoT数据集和一个自包含的Embedding Editor模型,使VLM无需外部工具即可在视觉嵌入空间直接生成"视觉思考"进行多模态推理。
- Demo2Tutorial: From Human Experience to Multimodal Software Tutorials
-
Demo2Tutorial 是一个 agentic 框架,把人类操作软件的原始屏幕录制 + 底层操作日志,自动蒸馏成图文交错的结构化教程;生成的教程在自建 benchmark 上质量(86.2)反超官方人工教程(79.1),既能让 GUI Agent 在 OSWorld 上规划成功率大幅提升(GPT-5 在 Chrome 上 52.9%→70.6%),也能让真人学软件提速 10.5%、80% 用户更偏好。
- Describe Anything Anywhere At Any Moment
-
DAAAM 把"实时的几何-语义建图"和"大模型生成的细粒度局部描述"解耦开:用一个优化问题挑选最少的关键帧、再批量喂给 Describe Anything Model(DAM)生成开放词汇描述,从而在 10 Hz 实时下构建带详细文字标注的分层 4D 场景图,作为具身智能体的时空记忆,在大尺度时空问答与序列任务定位上取得 SOTA。
- Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection
-
提出 CARE 框架,先用因果中介分析精确定位 VLM 中与不安全行为因果相关的神经元和层(诊断),再通过广义特征分解构建双模态安全子空间并在推理时投影激活值(修复),将攻击成功率降至 10% 以下且几乎不损失通用能力。
- DialogueVPR: Towards Conversational Visual Place Recognition
-
把语言引导的地点识别从「一句话查一次、查完就完」的静态检索,改造成「检索器先粗筛 → 多模态大模型主动提问 → 用户回答 → 再检索」的多轮对话推理(DlgPR),并配套造了首个对话式地点识别基准 DQ-Cities 和一套「SFT + GRPO 课程学习」训练的提问智能体 DQ-Pilot,5 轮对话后 R@1 比 7B 基座提升 13.4%、甚至超过 72B 模型。
- Dictionary-Aligned Concept Control for Safeguarding Multimodal LLMs
-
本文提出 DACO 框架,通过从 WordNet 和 CC-3M 构建包含 15,000 个多模态概念的字典,结合稀疏自编码器(SAE)实现对冻结 MLLM 激活空间的细粒度概念控制,在多个安全基准上显著提升安全性的同时保持通用能力。
- Diffusion Guided Chain-of-Vision for Large Autoregressive Vision Models
-
把语言模型里的 Chain-of-Thought 搬进纯视觉的自回归大模型(LVM):用预训练扩散模型在图像空间生成一串视觉上连贯的中间帧,作为"任务无关的推理过程"插进输入序列,让 LVM 在做分割/深度/位姿等下游任务时从"一步直出标签"变成"多步渐进生成",七个视觉任务、三种模型规模上均稳定涨点。
- DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Models
-
提出 差异定位(Differential Grounding, DiG) 这一代理任务——给模型两张高度相似的图、不告诉它有几处不同,逼它把所有差异都用 bounding box 框出来;配上 Blender 自动造数据 + GRPO 强化学习 + 课程学习,让 Qwen3-VL 的细粒度视觉感知显著变强,并能迁移到 RefCOCO 等下游 grounding 与通用多模态基准。
- DiGraphHal-Bench: Evaluating Multimodal Large Language Models on Complex Directed Graphs
-
DiGraphHal-Bench 是首个面向「复杂有向图」的大规模 VQA 基准,用 2,796 张真实流程图、四大能力 × 12 个细粒度任务系统评测 MLLM 的幻觉与组合推理;靠一条「LLM 生成 + 算法确定性验证」的两阶段流水线在零人工标注下兼顾规模与可信度,结果显示连 GPT-5/Gemini 2.5 在图结构推理上都频繁幻觉,SFT 能缓解但远未解决。
- Direction-aware 3D Large Multimodal Models
-
针对现有 3D 点云 benchmark「问了左右前后却没给 ego pose」导致方向问题本身无解的痛点,本文用 PoseRecover 从 RGB-D 视频外参里自动找回每个问题对应的相机位姿,再用 PoseAlign 直接把点云旋转平移到该位姿坐标系下喂给现成 3D LMM,只靠指令微调就把 ScanRefer mIoU 相对提升 30%、Scan2Cap 的 LLM-as-judge 准确率提升 11.7%。
- Disentangle-then-Align: Non-Iterative Hybrid Multimodal Image Registration via Cross-Scale Feature Disentanglement
-
提出 HRNet,通过跨尺度特征解纠缠和自适应投影(CDAP)学习干净的共享表示,并在统一的粗到细管线中非迭代地联合预测刚性和非刚性变换,在四个多模态数据集上达到SOTA。
- dMLLM-TTS: Self-Verified and Efficient Test-Time Scaling for Diffusion Multi-Modal Large Language Models
-
针对统一生成-理解的扩散多模态大模型(dMLLM),用模型自身的图文理解能力当"裁判"(自验证反馈)来给候选图像打分,再配一个由粗到细的分层轨迹搜索,把传统线性搜索 \(O(NT)\) 的测试时缩放降到近线性 \(O(N+T)\),在 GenEval 上把三个 dMLLM 的生成质量显著拉高、并比线性搜索快 5–6 倍。
- Do Vision-Language Models Measure Up? Benchmarking Visual Measurement Reading with MeasureBench
-
MeasureBench 用 2,442 张真实+合成的测量仪器图像构建了一个"读数"基准,发现连最强的前沿 VLM 整体准确率也只有 30% 左右——它们能认出单位和仪器类型(>90%),却读不准指针/刻度对应的数值,暴露了 VLM 在细粒度空间定位上的根本短板。
- Do Vision Language Models Need to Process Image Tokens?
-
本文系统揭示了VLM中图像token表征在浅层即趋于稳定且跨层可互换,而文本token持续动态重构——图像处理深度的必要性高度依赖输出任务类型。
- Do VLMs Perceive or Recall? Probing Visual Perception vs. Memory with Classic Visual Illusions
-
针对「VLM 在经典视觉错觉上答得对、但把诱发因子反转后仍答原样」的现象,本文做了一个可控错觉探针框架 VI-Probe——对图像做分级扰动+配对控制、对提问做极性翻转+指令变体,再用 PFC/TFI/幻觉乘数 R 等指标把「真感知」和「靠记忆背模板」拆开,发现不同模型家族的「答案僵化」其实来自记忆覆盖、感知-记忆竞争、视觉处理瓶颈等异质机制,而非过去认为的单一「语言先验」。
- DocPrune: Efficient Document Question Answering via Background, Question, and Comprehension-aware Token Pruning
-
DocPrune 针对"文档图像里大片背景 + 稀疏证据"的结构特性,提出一个免训练、渐进式的三阶段视觉 token 剪枝框架(去背景 → 去问题无关区域 → 按模型理解度自适应剪枝),在 M3DocRAG 上把编码器/解码器吞吐分别提升 3.0× / 3.3× 的同时 F1 还涨 1.0。
- DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding
-
提出 DocSeeker,通过 ALR(分析-定位-推理)视觉推理范式和两阶段训练(SFT+EviGRPO)实现长文档理解中的结构化推理和证据定位,仅在短文档上训练即可鲁棒泛化到超长文档。
- Does Language Shift Break Medical Vision-Language Models? Indonesian Radiology Visual Question Answering Case Study
-
作者把英文放射学 VQA 基准 VQA-RAD 翻译成印尼语,构造 IndoRad-VQA,在"图像不变、只换问句语言"的受控设置下评测 7 个开源医学/多语言 VLM,发现哪怕是医学专用模型,换成印尼语提问后准确率普遍掉 8–25%,证明强英文医学 VQA 表现并不能保证非英语临床场景下的鲁棒性。
- Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs
-
给 MLLM 接深度/光流/匹配等视觉工具时,瓶颈不在工具调用次数或模型大小,而在"工具输出怎么喂"——本文提出 Perception Program(P2),把原始稠密像素级工具输出改写成紧凑、结构化、语言原生的符号摘要,免训练、免改架构地插进任意 MLLM,在 BLINK 六个感知任务上平均涨 19.66%,GPT-5 Mini 的多视角推理从 41.35% 飙到 86.47%。
- Downscaling Intelligence: Exploring Perception and Reasoning Bottlenecks in Small VLMs
-
系统研究LLM缩放对多模态能力的影响,发现视觉任务而非LLM依赖任务受影响最大,且感知退化与推理退化同等严重;提出Extract+Think方法(视觉提取调优+逐步推理),以0.6B感知+1.7B推理的极小模型超越了12倍大的PrismCaptioner和LLaVA-OneVision-0.5B。
- DPL: Decoupled Prototype Learning for Enhancing Robustness of Vision-Language Transformers to Missing Modalities
-
针对视觉-语言模型在某个模态缺失时性能骤降的问题,本文提出 DPL:把分类头从一个固定的全连接层换成"按缺失情况选原型、再按模态拆分原型"的解耦原型预测头,配合缺失感知的 ArcFace 损失和原型关系对比损失,可即插即用地接在任意 prompt 方法之后,在三个数据集多种缺失场景上稳定超越 SOTA。
- Dr. Seg: Revisiting GRPO Training for Visual Large Language Models through Perception-Oriented Design
-
论文指出"把语言推理的 GRPO 训练范式直接搬到视觉感知任务"这个普遍假设并不成立,针对感知任务"需要更宽的输出空间 + 更细更稳的奖励"两个被忽视的特性,提出即插即用的 Dr. Seg:用
<look>标签鼓励广度探索、用分布排名奖励把多个连续指标映射到经验分位数,无需改模型结构就在 6 个分割/检测/计数基准上 5/6 拿到 SOTA。 - DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding
-
DRS-GUI 在 MLLM 做坐标预测前插入一个"先搜后定位"的免训练阶段:用 UI Perceptor 把截图解析成带语义相关度的 UI 元素,再用 MCTS 调度 Focus/Shift/Scatter 三种类人感知动作、配合区域质量奖励反复搜索出最相关的紧凑区域,在高分辨率密集界面基准 ScreenSpot-Pro 上把 Qwen2.5-VL-7B 与 UGround-V1-7B 的 grounding 准确率提升约 14%。
- DSCA: Dynamic Subspace Concept Alignment for Lifelong VLM Editing
-
DSCA通过将VLM的表征空间分解为一组正交语义子空间,在每个子空间内进行门控残差干预来实现知识编辑,从而在1000次连续编辑后仍保持>95%的编辑成功率且近乎零遗忘。
- DSERT-RoLL: Robust Multi-Modal Perception for Diverse Driving Conditions
-
提出 DSERT-RoLL 驾驶数据集,首次集成立体事件相机、RGB、热成像、4D 雷达和双 LiDAR 六种传感器,覆盖多种天气和光照条件,并提出统一多模态 3D 检测融合框架。
- Dual-Modality Anchor-Guided Filtering for Test-time Prompt Tuning
-
针对测试时提示微调(TPT)中"熵滤波选错增强视图反而带偏 prompt"的痛点,本文用 LLM 属性描述构造的文本锚点和测试时累积的图像锚点做语义引导的视图筛选,再把两锚点当作辅助预测头做置信度加权集成,在 15 个 benchmark 上把平均精度提了 3.36%。
- DUET-VLM: Dual Stage Unified Efficient Token Reduction for VLM Training and Inference
-
提出 DUET-VLM 双阶段视觉 token 压缩框架:第一阶段在视觉编码器内通过 V2V self-attention 选取 dominant tokens 并将剩余 tokens 通过注意力引导局部聚类合并为 contextual tokens;第二阶段在 LLM 内通过 T2V cross-attention 层级裁剪视觉 tokens。在 LLaVA-1.5-7B 上实现 67% token 压缩保持 99%+ 精度、89% 压缩保持 97%+ 精度,训练时间减少 31%。
- DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance
-
DuetSVG 把 SVG 生成从「纯文本生成」改成「图像 token 和 SVG token 一起自回归生成」,让模型自己先画出的图像 token 充当 SVG 解码时的内部视觉引导,再配一套图像引导的测试时重采样,在文生 SVG 和图生 SVG 两个任务上全面超过现有 VLM 方法。
- DuoGen: Towards Autonomous Interleaved Multimodal Generation
-
DuoGen 把一个预训练 MLLM 和一个在视频生成上预训练的 DiT 拼起来,用
<BOV>特殊 token 让 MLLM 自主决定何时画图、用前文所有图像当条件帧让 DiT 续画,配上一套从网页清洗 + 合成造出来的 298k 高质量交错指令数据和两阶段解耦训练,在交错图文生成、文生图、图像编辑三类任务上全面超过开源统一模型。 - Dynamic Logits Adjustment and Exploration for Test-Time Adaptation in Vision Language Models
-
针对 VLM 测试时自适应(TTA)只挑高置信样本导致"继承模型类别偏置 + 探索不足"的问题,本文提出 DLAE:用动态 logit 校准(DLA)按在线预测统计量给每类 logit 乘一个平衡因子来去偏,再用一致性引导的探索缓存(CGEC)专门把"校准后预测翻转"的决策边界样本(在语义+时间双重一致性约束下)纳入缓存,从而在保持稳定的同时探索低置信区域,在跨域和 OOD 两大基准上稳定超过 DPE 等 SOTA。
- Dynamic Token Reweighting for Robust Vision-Language Models
-
提出Dtr(Dynamic Token Reweighting),首个通过优化VLM的KV缓存来防御多模态越狱攻击的推理时防御方法,通过定义"反向安全偏移"(RSS)来识别导致安全退化的视觉token,动态调整其权重以恢复模型的安全对齐能力,同时保持良性任务性能。
- DynamicGTR: Leveraging Graph Topology Representation Preferences to Boost VLM Capabilities on Graph QAs
-
提出 DynamicGTR 框架,通过动态路由在推理时为每个查询选择最优的图拓扑表示(GTR,视觉/文本共8种),显著提升 VLM 在零样本图算法问答中的性能,并可迁移到链接预测和节点分类等真实场景。
- Dynamics-Aware Preference Optimization for Vision-Language Models
-
本文从"学习动力学"视角诊断出 VLM 偏好微调不稳定的根因——"挤压效应"(easy negative 虽然 loss 近零却仍带来巨大且方向错误的梯度),并提出两阶段的 CW-DPO:先用受约束的平滑 SFT 把分布"摊平",再用一个随模型置信度自适应缩放负样本梯度的"冷却权重"压住无信息更新,在 COCO/Flickr30k/NoCaps/MMMU/MMBench 上全面 SOTA(COCO CIDEr 142.6,比 PPO +3.4;MMMU +2.4% 绝对精度),同时改善校准、收敛步数减半。
- EagleNet: Energy-Aware Fine-Grained Relationship Learning Network for Text-Video Retrieval
-
EagleNet 通过构建文本-帧关系图并使用关系图注意力网络学习文本-帧和帧-帧之间的细粒度关系,生成融合视频上下文信息的增强文本嵌入,并引入基于能量模型的匹配机制捕获真实文本-视频对分布,在四个基准数据集上取得 SOTA。
- EBMC: Enhance-then-Balance Modality Collaboration for Robust Multimodal Sentiment Analysis
-
提出 EBMC 两阶段框架,先通过语义解缠和跨模态增强提升弱模态表示质量,再通过能量引导的模态协调和实例感知信任蒸馏实现平衡的多模态情感分析,在缺失模态场景下保持强鲁棒性。
- Echoes of Ownership: Adversarial-Guided Dual Injection for Copyright Protection in MLLMs
-
提出 AGDI 框架,通过对抗优化生成 trigger image 进行 MLLM 黑盒版权追踪:双注入机制同时在 response 级(CE loss 驱动辅助模型输出 target answer)和 semantic 级(最小化 trigger image 与 target text 的 CLIP 余弦距离)注入版权信息,并引入模型对抗训练模拟 fine-tune 抵抗,在 Qwen2-VL/LLaVA-1.5 上全面超越 PLA 和 RNA 基线。
- EduDiag: A Benchmark for Educational Diagnostic Reasoning with Error Tracing and Correction on Large Multimodal Models
-
EduDiag 构建了首个评测多模态大模型(LMM)"教育诊断推理"能力的基准——给定题目、图像、参考解题过程和一个错误答案,要求模型反向重建导致该错误答案的错误推理链并生成纠正反馈,覆盖常识/科学/数学三域共 8345 条标注,对 24 个主流 LMM 的评测显示连 GPT-5 都做不好,错误追溯是核心瓶颈。
- Efficient and High-Fidelity Omni Modality Retrieval
-
OmniRet 用一个冻结的 LLM 当通用组合器,把文本/图像/视频/音频混合查询编码成单个向量做检索;它用「共享媒体重采样器」压缩海量媒体 token 解决效率瓶颈,用「注意力切片 Wasserstein 池化(ASWP)」把 LLM 输出当分布来聚合以保住细粒度信息,在 13 个检索任务上 12 个领先,并首次支持组合音频与音视频检索。
- Efficient Document Parsing via Parallel Token Prediction
-
提出 PTP(Parallel Token Prediction),一种模型无关的即插即用加速方法,通过在训练序列中插入可学习 register token 实现并行多 token 预测,在 OmniDocBench 上实现 1.6×-2.2× 吞吐提升且不损失精度。
- EG-3DVG: Expression and Geometry Aware Grounding Decoder for 3D Visual Grounding
-
EG-3DVG 在 3D 视觉定位的 grounding decoder 里塞进两个互补的注意力模块——把 3D 位置注进文本 token 的 PECA、按几何关系筛选视觉 token 的 GMA——再配一个区分同类干扰物的表达式对比学习 ECL,针对性修掉"文图错位 / 同类混淆 / 几何推理错误"三类失败,在 ScanRefer 和 SR3D/NR3D 的检测框定位与掩码预测上都刷到 SOTA。
- Ego: Embedding-Guided Personalization of Vision-Language Models
-
Ego 直接从 LVLM 自身的跨模态注意力里挑出最能代表某个个性化概念(如"我的杯子""我的狗")的少量视觉 token,把它们当作"概念记忆"在推理时以软提示注入上下文,从而做到完全免训练、不依赖外部视觉模块,并在单概念/多概念/视频三种个性化场景下都取得 SOTA。
- EgoMind: Activating Spatial Cognition through Linguistic Reasoning in MLLMs
-
提出 EgoMind,一种无需几何先验的 CoT 框架,通过角色扮演字幕 (RPC) 和渐进式空间分析 (PSA) 两个核心组件,仅用 5K SFT + 20K RL 样本即可实现多帧空间推理的竞争性能力。
- EgoProx: Evaluating MLLMs on Egocentric 3D Proximity Reasoning Across a Cognitive Hierarchy
-
EgoProx 是第一个评测多模态大模型(MLLM)能否从第一人称视角做"身体—物体"3D 邻近推理的基准:它把任务按人类认知层级组织成 Intention / Exploration / Exploitation / Chain-of-Actions 四类,用一个以 Gemini-2.5-Pro 为大脑、编排多种 3D 工具的 agent 数据引擎自动生成 2405 条高质量 QA,结果显示即便 GPT-5、Gemini-2.5-Pro 也远低于人类水平,但少量指令微调就能大幅解锁模型预训练里"沉睡"的空间知识。
- EgoSound: Benchmarking Sound Understanding in Egocentric Videos
-
EgoSound 是第一个系统评测多模态大模型(MLLM)"第一人称声音理解"能力的基准:它合并 Ego4D 与 EgoBlind 两个数据源、定义涵盖固有声音感知与跨模态推理的 7 任务体系,用一条"交互标注→音频中心字幕→视觉校验 OpenQA"的三段式自动流水线产出 900 段视频上的 7315 条开放式问答,实测 9 个 SOTA omni 模型最高只有 56.7% 准确率(人类 83.9%),暴露了模型在细粒度空间/因果声音推理上的短板。
- Eliciting Complex Spatial Reasoning in MLLMs through Wide-Baseline Matching
-
把"宽基线匹配"(wide-baseline matching, WBM) 当作探测和训练 MLLM 空间推理的试金石:先造出按视角差和匹配粒度分层的 ReasonMatch-Bench(发现最强基线只有 37.2 F1,人类 84.0),再用一条从视频-3D 语料自动抽取可验证对应关系的数据流水线 + DCRL(双层动态课程的可验证奖励 RL),把 Qwen3-VL-8B 在该 benchmark 上从 27.5 拉到 70.5 F1,并迁移到多个空间智能 benchmark 而不损害通用视觉能力。
- EMMA: Extracting Multiple physical parameters from Multimodal Data
-
EMMA 把视频、音频、图表三种模态对齐后喂进一个 Liquid Time-Constant(LTC)网络,配合可微物理仿真与物理约束损失,无监督地一次性辨识出动力系统的全部可识别参数——包括视频里看不见的强迫输入、任何模态都测不到的隐式动力学项、以及坐标系原点/初始条件等标定不变量,在 75 段 Delfys 视频和真实 rover/无人机上显著超越只用视频或方程发现的基线。
- EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Models
-
提出 EMO-R3,通过结构化情感思维(SET)引导 MLLM 逐步进行情感推理,并设计反思情感奖励(RER)让模型重新评估推理的视觉-文本一致性和情感连贯性,显著提升多模态情感理解的可解释性和准确性。
- EmoThinker: Advancing Visual-Acoustic Emotion Analysis via Structural Token Selection and Chain-of-Thought Reasoning
-
EmoThinker 把视听情感分析从"隐式融合"改造成"显式分步推理":视觉端用结构化 token 选择把人脸聚焦区和文本条件化的背景区分开,音频端用文本引导注意力提炼副语言特征,再配上首个带分步推理链的 CoET 数据集做 LoRA 后训练,在 DFEW 等五个基准上刷到新 SOTA(DFEW 零样本 WAR 提升 10.5%)。
- Empowering Semantic-Sensitive Underwater Image Enhancement with VLM
-
提出 VLM 驱动的语义敏感学习策略,通过 VLM 生成目标物体描述、BLIP 构建空间语义引导图、双重引导机制(cross-attention + 语义对齐损失)注入 UIE decoder,使增强结果在感知质量和检测/分割下游任务上同时提升。
- ENC-Bench: A Benchmark for Evaluating MLLMs in Electronic Navigational Chart Understanding
-
提出首个面向电子航海图(ENC)理解的专业级基准 ENC-Bench,包含 20,490 样本和三级层次评估体系(感知→空间推理→海事决策),系统评估 10 个 MLLM 后发现最佳模型仅 47.88% 准确率,揭示了通用模型在安全关键专业领域的严重能力缺口。
- Enhance-then-Balance Modality Collaboration for Robust Multimodal Sentiment Analysis
-
EBMC 用"先增强、再平衡"两阶段框架做多模态情感分析:先靠语义解耦和跨模态互补把被压制的音频/视觉弱模态喂饱,再用能量模型拉平各模态的优化动态、并在样本级按可信度重加权融合,从而在 MOSI/MOSEI/IEMOCAP 上拿到 SOTA,且在缺失模态场景下掉点远小于基线。
- Enhancing Continual Learning of Vision-Language Models via Dynamic Prefix Weighting
-
针对 VLM 持续学习中现有 PEFT 方法只在「样本级」给 prefix/adapter 加权、对一个样本内所有 token 一视同仁的问题,DPW 用一个 gating 模块(RePA + CondAct)为每个 token 算出细粒度 prefix 权重、并让 adapter 只在 prefix 权重不够用时以「残差」方式补足,在 MTIL / ODCL-CIL 两个 domain-class 增量基准上取得 SOTA。
- Enhancing Descriptive Captions with Visual Attributes for Multimodal Perception
-
本文提出 Cap-Workflow,用一组现成的视觉专家模型(检测、深度、情绪、OCR、细粒度识别、HOI)从图像里抽出"通用 LMM 看不到"的细粒度属性与物体关系,再用 LLM 把这些属性两阶段融合成又准又细的图像描述,从而把 1.1M 张图重新标注成更优质的 LMM 预训练语料,在 14 个基准上提升 LLaVA-v1.5/NeXT 的感知与推理能力。
- Enhancing Part-Level Point Grounding for Any Open-Source MLLMs
-
不微调任何 MLLM 参数,仅在中间层"合成一个 grounding 感知的 query"来重塑 text-to-image 注意力、再用轻量解码器升采样成点热图,就能把开源 MLLM 的部件级(part-level)点定位精度大幅拉高,并能即插即用到任意带注意力机制的模型上。
- Enhancing Video Vision Language Model with Hippocampal Sensing
-
本文模仿海马体的跨模态联想机制,让视频 VLM 先用「跨模态时序预测」(看视频补音频、听音频补视频)做 SFT,再用一种带「负样本感知奖励」的对比 RL(VANAO)逼模型真正联合音视频推理,使 7B/8B 小模型在多个视频 VQA 上逼平 GPT-4o、Gemini-1.5-Pro。
- Evo-Retriever: LLM-Guided Curriculum Evolution with Viewpoint-Pathway Collaboration for Multimodal Document Retrieval
-
Evo-Retriever 把"模型"和"训练课程"绑成一对协同进化体——用多视角对齐 + 双向对比稳住表征,再让一个外部 LLM 元控制器根据实时训练状态动态调难负样本难度,在 ViDoRe V2 / MMEB(VisDoc) 上拿到 nDCG@5 65.2% / 77.1% 的新 SOTA。
- EvoComp: Learning Visual Token Compression for Multimodal Large Language Models via Semantic-Guided Evolutionary Labeling
-
EvoComp 在 MLLM 的对齐模块和 LLM 之间插入一个轻量压缩器,用「进化算法搜出能让任务 loss 最小的 token 子集」当监督标签来训练它,从而在 3×~9× 压缩下保留 99.3%~94.9% 原始精度,并在手机 NPU 上实现最高 2.0× 加速。
- EvoGraph-R1: Self-Evolving Multimodal Knowledge Hypergraphs for Agentic Retrieval
-
EvoGraph-R1 把多模态 GraphRAG 的知识超图从"离线建好、一次性查"的静态数据结构,重新定义成一个随推理过程协同演化的 MDP 环境——智能体通过"查图 / 联网搜 / 改图 / 回答"四个动作不断插入、修正、剪枝超图,再用 GRPO 端到端优化策略,在多模态 VQA 和纯文本 QA 上都刷到 SOTA。
- EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards
-
提出 EvoLMM,一个纯无监督的自进化框架:从单一LMM分出Proposer(生成图像相关问题)和Solver(回答问题),通过连续自一致性奖励(替代离散多数投票)形成闭环训练信号,仅使用原始图像(无标注、无外部奖励模型),在8个多模态数学推理基准上获得约2-3%的一致性提升。
- Evolving Contextual Safety in Multi-Modal Large Language Models via Inference-Time Self-Reflective Memory
-
提出 MM-SafetyBench++ 基准和 EchoSafe 框架,通过推理时维护自反思记忆库来累积安全洞察,使 MLLM 能够根据上下文区分看起来相似但安全意图不同的场景,无需训练即可提升上下文安全性。
- EvoPrompt: Evolving Prompt Adaptation for Vision-Language Models
-
EvoPrompt 通过轨迹感知的 prompt 进化策略(统一 embedding 投影 + 方向-幅度解耦训练 + 特征几何正则化)解决 VLM prompt learning 中的灾难性遗忘和模态偏差问题,在 few-shot/跨数据集/域泛化任务上全面 SOTA 且保持 zero-shot 能力。
- Explore with Long-term Memory: A Benchmark and Multimodal LLM-based Reinforcement Learning Framework for Embodied Exploration
-
本文提出 LMEE 基准和 MemoryExplorer 框架,通过将多目标导航与记忆问答统一评估具身探索的过程与结果,并用强化学习微调 MLLM 使其主动调用记忆检索工具,在 LMEE-Bench 上 SR 达 23.53%(超越 3D-Mem 的 16.91%)、GOAT-Bench 上 SR 达 46.40%。
- Face-Guided Sentiment Boundary Enhancement for Weakly-Supervised Temporal Sentiment Localization
-
FSENet 把人脸特征作为情感线索引导音视频交互,在只有"点级"时间戳标注的弱监督设定下,用对比学习对齐情感语义、再把稀疏点标注扩展成边界平滑的伪标签,从而在 TSL300 上把时序情感定位的平均 mAP 推到 21.45%,超过此前 SOTA 约 5%。
- Factorize, Reconstruct, Enhance: A Unified Framework for Multimodal Sentiment Analysis
-
FUSE-Net 把每个模态显式拆成「共享 / 特有 / 噪声」三个子空间(factorize),用基于信息瓶颈的变分重建保住情感语义(reconstruct),再用三视角的样本自适应动态融合做加权聚合并门控压噪(enhance),在 MOSI / MOSEI / SIMSv2 三个基准上的回归与有序分类指标都刷到最优。
- FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment
-
提出 FALCON,一种基于学习的 mini-batch 构造策略,通过负样本挖掘调度器自适应平衡硬负样本与假负样本之间的权衡,显著提升视觉语言预训练的跨模态对齐质量。
- FAVE: A Structured Benchmark for Fine-Grained Audio-Visual Temporal Evaluation in Multimodal LLMs
-
FAVE 是一个专门评测「音视频大模型(AVLLM)能否把音频流与视频流在同一时间窗内对齐并做细粒度时序推理」的三层基准,用 shot 切分 + 双模态字幕 + GPT 合成 + 人工核验的可扩展流水线在 QVHighlights 上构造了近万条带时间戳的 QA,对 13 个 SoTA 模型的测评显示:即便最强的 Gemini 1.5 也远低于人类,开源模型几乎全军覆没,跨模态联合时序理解仍是开放难题。
- FedMPT: Federated Multi-Label Prompt Tuning of Vision-Language Models
-
FedMPT 把联邦多标签识别(MLR)建模成一个因果前门调整问题,用 LLM 生成一组通用"条件"(如空间布局、物体姿态)作为中介变量来约束标签共现,再通过条件提示 + 最优传输 + 门控聚合三步把条件对齐到图像区域并自适应加权,从而在客户端数据异构时显著抑制"看到猫就误报椅子"这类伪相关过拟合。
- Fine-Grained Post-Training Quantization for Large Vision Language Models with Quantization-Aware Integrated Gradients
-
提出量化感知积分梯度(QIG),将 LVLM 量化的灵敏度分析从模态级推进到 token 级,利用公理化归因原理精确量化每个 token 对量化误差的贡献,在 W4A8 和 W3A16 设置下显著提升量化模型精度,且几乎无额外计算开销。
- FlashCache: Frequency-Domain-Guided Outlier-KV-Aware Multimodal KV Cache Compression
-
提出 FlashCache,首次从频域角度分析多模态 KV Cache 的重要性分布,发现偏离低频主成分的"离群 KV"编码了推理关键特征,通过 DCT 低通滤波识别并优先保留离群 KV + 动态逐层预算分配,在 80% KV 内存压缩下实现 1.69× 解码加速且基本不损失任务性能,天然兼容 FlashAttention。
- Flat-Pack Bench: Evaluating Spatio-Temporal Understanding in Large Vision-Language Models through Furniture Assembly
-
以"宜家家具装配视频"为沙盒,构建了一个专测大视觉语言模型(LVLM)细粒度时空理解的视频问答基准 Flat-Pack Bench(602 道选择题、4 类任务),发现 GPT-5 等最强模型只有 ~38% 准确率,远低于人类的 94.18%,并定位出"追踪、接触判断、区域指代"才是真正的瓶颈。
- FlowComposer: Composable Flows for Compositional Zero-Shot Learning
-
FlowComposer 首次将 Flow Matching 引入组合零样本学习(CZSL),学习两个原始流(属性流和物体流)将视觉特征传输到对应文本嵌入空间,并通过可学习的 Composer 显式组合速度场得到组合流,同时利用泄露引导增强策略将不完美的特征解耦转化为辅助监督信号,作为即插即用模块在三个基准上持续提升 CZSL 性能。
- FlowHijack: A Dynamics-Aware Backdoor Attack on Flow-Matching VLA Models
-
FlowHijack是首个系统性针对流匹配VLA模型向量场动态的后门攻击框架,通过τ条件注入策略和动态模仿正则化实现高攻击成功率和行为隐蔽性。
- FluoCLIP: Stain-Aware Focus Quality Assessment in Fluorescence Microscopy
-
提出 FluoCLIP,一个两阶段视觉-语言框架:先通过染色锚定(stain-grounding)让 CLIP 学习荧光染色的语义,再通过染色引导排序(stain-guided ranking)实现染色感知的对焦质量评估,并引入首个多染色组织级荧光显微镜数据集 FluoMix。
- PinPoint: Focus, Don't Prune — Identifying Instruction-Relevant Regions for Information-Rich Image Understanding
-
提出 PinPoint,一个两阶段框架:先通过 Instruction-Region Alignment 定位与指令相关的图像区域,再对选中区域精细化编码,以更少的 visual token 实现更高的 VQA 精度。
- FocusUI: Efficient UI Grounding via Position-Preserving Visual Token Selection
-
FocusUI 让 UI grounding 的 VLM 只保留与指令相关的少数视觉 token——先用「指令×patch」的显著性监督训一个轻量打分器挑出关键 patch,再用 POSPAD 把被丢弃的连续 token 压成一个保留末位坐标的占位标记,从而在仅留 30% 视觉 token 的情况下精度只掉 3.2%,推理快 1.44×、峰值显存降 17%。
- Foundation Encoders Are All You Need for Preference-Aware Personalization
-
FAN 不给文生图模型加任何额外结构或微调,只把预训练文本编码器里的自注意力"改造"成个性化注意力,再配上一套面向目标 query 的画像策略,就能在 SD V1/XL/V3、FLUX 等多种基础模型上做到"既贴用户偏好又不丢目标语义"的个性化合成。
- From 3D Pose to Prose: Biomechanics-Grounded Vision-Language Coaching
-
BioCoach 把流式健身视频里的 3D 骨骼运动学和身材测量做成显式、可读的中间表示,喂给冻结的视觉/语言主干,通过"选关节 → 算周期与约束 → 视觉-生物力学条件化生成"三段流水线,产出带关节角度、活动范围、相位对齐的精准纠错反馈,在新构建的 QEVD-bio-fit-coach 上 METEOR 比 Stream-VLM 提升 262.8%。
- From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training
-
针对多模态大模型在 RLVR(可验证奖励强化学习)中标注噪声严重的问题,本文提出一个两阶段 token 级熵调度方法:训练前期最大化熵以探索、抵抗对错标签的过拟合并为 GRPO 保住组内多样性,后期最小化熵以利用、固化知识形成自信预测;在 GUI grounding、细粒度分类、开放词表检测三任务和多种噪声比例下都比单一熵方向更鲁棒。
- From Failure to Feedback: Group Revision Unlocks Hard Cases in Object-Level Grounding
-
针对 GRPO 微调视觉语言模型时「难样本一组全失败、奖励全为零、学不到东西」的痛点,本文提出 group-revision 范式:先采一个初始回答,再让模型对它做一组「修订」回答,并用匈牙利匹配算出每个修订相对初始的改进量(shaping signal),同时用它来加权奖励和放大优势,从而在分割、REC、计数等任务上稳定超过现有 GRPO 方法。
- From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs
-
作者用立体相机+LiDAR+IMU/GPS 采集行人视角户外视频,构建了首个三层(关系/度量/运动)、户外、带精确度量真值的空间智能基准 OSI-Bench(8736 条 QA),并通过盲测、异常场景、几何信息消融三组诊断实验证明:当前 MLLM 在室内基准上的"空间智能"主要靠语言先验撑着,一到开放世界就原形毕露、动态推理几乎全军覆没。
- From Observation to Action: Latent Action-based Primitive Segmentation for VLA Pre-training in Industrial Settings
-
提出 LAPS(Latent Action-based Primitive Segmentation)流水线,通过在潜在动作空间中定义"Latent Action Energy"指标,从未标注的工业视频流中无监督发现和分割语义动作原语,为 VLA 模型预训练提供结构化数据。
- From Where Things Are to What They Are For: Benchmarking Spatial–Functional Intelligence in Multimodal LLMs
-
提出 SFI-Bench——一个基于 134 段第一视角室内视频、1555 道专家标注四选一题的视频基准,把多模态大模型的评测从"物体在哪里"的几何感知推到"物体是干什么用的"的功能认知,覆盖空间认知与功能推理两大维度共六类任务,揭示当前 MLLM 在"空间记忆 + 功能推理 + 外部知识"三者融合上仍是明显瓶颈。
- Fuel Gauge: Estimating Chain-of-Thought Length Ahead of Time in Large Multimodal Models
-
作者发现推理型多模态大模型内部存在一个随 CoT 推理逐步耗尽的"燃料"信号,用一个仅 8.2 万参数的小网络把它抽出来、再线性外推到"燃料归零"那一步,就能在推理还没结束(甚至刚开始)时提前预测整段 CoT 的长度,并用它做预测式 KV cache 分配(分配次数最多降 13×)和 CoT 长度调控(线性控制准确率)。
- G\(^2\)VLM: Geometry Grounded Vision Language Model with Unified 3D Reconstruction and Spatial Reasoning
-
G2VLM 用一个「混合 Transformer 专家(MoT)」架构,把前馈式 3D 重建专家和语义理解专家塞进同一个 VLM 里、靠共享自注意力互相增益,让一个 2B 的模型既能像 VGGT 那样直接预测深度/点云/相机位姿,又能在空间推理任务上反超 GPT-4o(SPAR-Bench 上高 18.5 分)。
- G-MIXER: Geodesic Mixup-based Implicit Semantic Expansion and Explicit Semantic Re-ranking for Zero-Shot Composed Image Retrieval
-
提出 G-MIXER,通过测地线混合隐式语义扩展(在球面上沿不同混合比例扩展检索范围)和显式语义重排序(利用 MLLM 生成的属性过滤噪声候选),实现免训练零样本组合图像检索的 SOTA 性能。
- GaussianVision: Vision-Language Alignment from Compressed Image Representations using 2D Gaussian Splatting
-
用一组各向异性 2D 高斯(位置+协方差+颜色)作为图像的紧凑替代表示喂给视觉-语言模型,通过"复用冻结的 RGB ViT 主干 + 轻量 splat 输入头 + 两阶段迁移训练",在 12.8M DataComp 上把视觉输入压缩 3–23.5×、加载提速最高 31×,仍保住 RGB 基线 90–98% 的 38 数据集零样本精度,接入 LLaVA 后甚至在 6 个 VQA benchmark 上反超 RGB。
- Generate, Analyze, and Refine: Training-Free Sound Source Localization via MLLM Meta-Reasoning
-
本文提出了一个无需训练的声源定位框架 GAR-SSL,通过将声源定位重新建模为"生成-分析-精炼"的三阶段元认知推理过程,直接利用多模态大语言模型 (MLLM) 的内在推理能力进行音视频定位,在单源和多源定位基准上取得了与训练方法可比甚至更优的性能。
- Geoint-R1: Formalizing Multimodal Geometric Reasoning with Dynamic Auxiliary Constructions
-
Geoint-R1 把"画辅助线 + 形式化证明"做成一个可验证的多模态几何推理任务:用 Lean4 把动态辅助构造编码成形式语言,配一个验证奖励模型(正确性受辅助线对错调制)驱动课程式强化学习,让一个 7B 模型在自建的 Geoint 基准上平均超过 GPT-4o / Gemini-1.5-pro。
- Geometrically-Constrained Agent for Spatial Reasoning
-
针对 VLM 在空间推理中"语义强、几何弱"的鸿沟,本文提出免训练智能体 GCA:先让 VLM 当"语义分析师"把模糊问题翻译成一个形式化的任务约束(参考系 + 目标),再让它当"任务求解器"在这个约束的确定性边界内调用几何工具算出答案,在多个空间推理 benchmark 上平均超过此前 SOTA 约 27%。
- GGBench: A Geometric Generative Reasoning Benchmark for Unified Multimodal Models
-
GGBench 提出一个面向统一多模态模型(UMM)的"几何生成推理"评测基准:1,411 道几何作图题,每题严格对齐"自然语言步骤 + 可执行 GeoGebra 代码 + 渲染图"三模态,配套四阶段评测协议,实验发现"端到端出图"的 UMM 远落后于"先写代码再渲染"的 LLM,揭示现有模型"会答题但不会作图"的鸿沟。
- Granulon: Awakening Pixel-Level Visual Encoders with Adaptive Multi-Granularity Semantics for MLLM
-
Granulon 给以 DINOv3 为代表、强于细节但缺乏粗粒度语义抽象的像素级视觉编码器,加上一个"文本条件的粒度控制器 + 自适应 token 聚合"模块,让单个编码器在一次前向里就能按问题语义动态做"像素→细→粗"的多粒度推理,在同等设置下推理准确率提升约 30%、幻觉率降低约 20%。
- GraphVLM: Benchmarking Vision Language Models for Multimodal Graph Learning
-
提出 GraphVLM benchmark,系统评估VLM在多模态图学习中的三种角色——VLM-as-Encoder(增强GNN特征)、VLM-as-Aligner(桥接模态用于LLM推理)、VLM-as-Predictor(直接作为图学习backbone)。在6个数据集上的实验表明,VLM-as-Predictor持续取得最佳性能,揭示了VLM作为多模态图学习新基础的巨大潜力。
- Gravitation-Driven Semantic Alignment for Text Video Retrieval
-
GraviAlign 把跨模态语义对齐类比成万有引力,将文本/视频的高斯嵌入对齐分数拆成"语义引力(吸引)"和"几何重叠(重叠度)"两个正交、闭式可解的因子,每个因子都有独立否决权,在三个文本-视频检索基准上稳定超过 CLIP-ViP 基线 1.6%~2.6% R@1。
- Grounded 3D-Aware Spatial Vision-Language Modeling
-
GR3D 把「显式 2D grounding + 隐式 2D grounding + 单目 3D grounding」三种定位能力统一进同一个空间 VLM,让模型在生成空间思维链时一边说一边把提到的物体定位成区域 token 插回文本流,再用这些 grounded 区域作为 query 直接预测相机视角下的 3D 框,从而在 Omni3D 3D 检测和多个空间推理 benchmark 上同时刷出提升。
- Grounding Everything in Tokens for Multimodal Large Language Models
-
GETok 给 MLLM 的词表加一组「网格 token + 偏移 token」,把图像平面离散成 2D 锚点格子、再用小步偏移迭代纠错,不改自回归架构就让模型用统一的 token 序列表示点/框/掩码/折线等各种定位,并在 SFT 和 RL 两种范式下都刷到 SOTA。
- GroundingME: Exposing the Visual Grounding Gap in MLLMs through Multi-Dimensional Evaluation
-
针对现有视觉定位基准已被 MLLM 刷到 90%+ 却仍测不出真实能力的问题,作者构造了 GroundingME——一个含 1005 个样本、覆盖「细粒度判别 / 复杂空间 / 受限可见 / 拒答」四维度的硬基准,发现最强模型也只有 45.1% 准确率、绝大多数模型在拒答任务上得 0%,并给出测试时缩放(+4.5%)和负样本混合训练(拒答 0%→27.9%)两条改进路径。
- GroundVTS: Visual Token Sampling in Multimodal Large Language Models for Video Temporal Grounding
-
提出 GroundVTS,一种在视频大语言模型中进行查询引导的细粒度视觉token采样架构,通过在 token 级别自适应保留与查询相关的时空信息,在 Charades-STA 上 mIoU 提升 18.4 点,QVHighlights 上 mAP 提升 20.6 点。
- GThinker: Towards General Multimodal Reasoning via Cue-Guided Rethinking
-
GThinker 针对 MLLM "文本逻辑无懈可击却被错误的初始视觉判断带偏" 的视觉惯性问题,提出一种自由形式、以视觉线索为锚点并能自触发重审线索的 Cue-Rethinking 推理范式,再用"标注流水线 + 裁判引导选择性冷启动 + 激励式 RL"两阶段训练把这套能力灌进 Qwen2.5-VL-7B,在 M3CoT 上达到 81.5% 反超 o4-mini。
- GTR-Turbo: Merged Checkpoint is Secretly a Free Teacher for Agentic VLM Training
-
本文提出 GTR-Turbo,通过将 RL 训练过程中的历史 checkpoint 经 TIES 合并产生"免费教师模型"来指导后续训练(可选 SFT 或 KL 蒸馏方式),在多个视觉智能体任务上匹配甚至超过依赖 GPT-4o 等外部教师的 GTR 方法,同时减少 50% 训练时间和 60% 计算成本。
- GUI-SAGE: Enhancing GUI Automation with Self-Explanatory Learning
-
针对 GUI 强化学习中"任务太难时所有 rollout 全失败、advantage 全为 0 学不动"的问题,GUI-SAGE 让模型在 ground-truth 动作做提示的条件下"给自己讲清楚这个动作为什么对",产生分布内(in-distribution)的正样本,再用熵调制信用分配按预测置信度放大/抑制梯度,使 3B 模型在 AndroidControl / GUI-Odyssey 上达到 81.1% 平均成功率,超过更大的 7B baseline。
- GUIDE: A Benchmark for Understanding and Assisting Users in Open-Ended GUI Tasks
-
本文提出 GUIDE 基准,包含 120 个新手用户在 10 款软件上的 67.5 小时屏幕录像和出声思维标注,定义了行为状态检测、意图预测、协助预测三个分层任务,评估发现当前最强多模态模型在理解用户行为和判断协助需求上表现有限(行为检测仅 44.6% 准确率),但提供结构化用户上下文可显著提升性能(协助预测最高提升 50.2pp)。
- Guiding Diffusion-based Reconstruction with Contrastive Signals for Balanced Visual Representation
-
为了让 CLIP 视觉编码器同时具备"分得开类别"(判别力)和"看得清细节"(细粒度感知力),本文提出 DCR:不再让扩散模型去重建原图(只补细节、伤判别),而是把对比信号注入到扩散模型预测的噪声上构成一个统一损失,用单一目标同时优化两种能力、绕开了朴素组合两个 loss 时的梯度冲突,在 6 个 CLIP backbone 和下游 MLLM 上一致涨点。
- HAMMER: Harnessing MLLM via Cross-Modal Integration for Intention-Driven 3D Affordance Grounding
-
提出 HAMMER 框架,通过从 MLLM 中提取接触感知的意图嵌入、层次化跨模态融合增强点云特征、以及多粒度几何提升模块为意图嵌入注入3D空间信息,实现基于交互图像的3D可供性定位,在 PIAD 基准上全面超越现有方法。
- HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models
-
构建了 HandVQA——一个包含 160 万+选择题的大规模诊断性基准,基于 3D 手部关节标注自动生成关于关节角度、距离和相对位置的 VQA 问题,系统暴露了当前 VLM 在细粒度手部空间推理上的严重缺陷,并证明在 HandVQA 上微调后的模型可零样本迁移到手势识别(+10.33%)和手-物交互识别(+2.63%)等下游任务。
- HanDyVQA: A Video QA Benchmark for Fine-Grained Hand-Object Interaction Dynamics
-
HanDyVQA 是一个面向"手-物交互(HOI)动态过程"的细粒度视频问答 benchmark,用 6 类问题(动作/过程/物体/位置/状态变化/部件)覆盖"操作→效果"全链路,含 1.11 万道五选一选择题和 1.03 万帧分割掩码,实测最强模型 Gemini-2.5-Pro 也只有 73% 准确率,远低于人类的 97%。
- Harmonious Parameter Adaptation in Continual Visual Instruction Tuning for Safety-Aligned MLLMs
-
针对"已做过安全对齐的多模态大模型在持续指令微调(CVIT)中既遗忘旧任务、又掉安全"的双重问题,本文提出 HPA:在每步微调结束后对权重做一次免训练的参数级编辑——先按 Hessian 重要性把参数分成"安全聚焦/任务聚焦"两类,再用一个可自适应的平衡分数挑选要保留的安全参数,最后对任务参数更新做正交投影来抗遗忘,从而在不动原训练流程的前提下同时守住安全和能力。
- HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models
-
提出 HAWK,一种基于注意力头重要性感知的视觉 token 剪枝方法,通过离线计算各注意力头对视觉理解的贡献权重,并结合文本引导的注意力分数动态评估每个视觉 token 的重要性,在 Qwen2.5-VL 上剪枝 80.2% 视觉 token 后仍保留 96.0% 原始性能,同时减少 26% 推理延迟。
- HBridge: H-Shape Bridging of Heterogeneous Experts for Unified Multimodal Understanding and Generation
-
HBridge 把"统一理解+生成"模型里两个对称、逐层共享注意力的 MoT 专家,换成一对异构专家(冻结大 VLM + 预训练扩散 DiT),只在中间若干层桥接注意力、并加一组语义重建 token,用 BAGEL 约 1/12 的 T2I 训练 token 就在 DPG-Bench / GenEval / ImgEdit 上反超 BAGEL。
- HDR-VLM: HDR-Domain Adaptation of VLMs and Preference-Aligned Quality Assessment for HDR Video Color Grading
-
HDR-VLM 是首个把只见过 SDR 的预训练 VLM 适配到 HDR 域、用于评估 HDR 视频调色质量的方法:第一阶段用 HLG 统一编码 + 渐进解冻补上 HDR 感知,第二阶段用带课程式奖励的 GRPO 把模型打分对齐到含噪的人类主观偏好,在真实产线 HDR 数据集上 PLCC 0.9033 / SROCC 0.8667,且能给出可解释的扣分理由。
- Hear you are: Teaching LLMs Spatial Reasoning with Vision and Spatial Sound
-
论文提出"音视频空间推理"任务,用 SoundSpaces 2.0 仿真合成了含双耳音频 + 360° 全景图的百万级问答数据集 Hear You Are QA,并训练一个把双耳空间音频编码器、全景视觉编码器接到 Qwen2-7B 上的多模态大模型 Hear You Are LLM;在"声音与视觉物体语义不匹配""多个同类物体需靠方位区分"等只能靠空间线索解决的场景上,显著超过只用单声道音频的基线。
- HiconAgent: History Context-aware Policy Optimization for GUI Agents
-
HiconAgent 用一套 History Context-aware Policy Optimization(HCPO)的强化微调框架训练 GUI 导航智能体:采样阶段动态变化历史长度让模型学会"按需用历史",更新阶段把历史截图扔掉、只留历史动作 token 当锚点并用全历史分支对齐蒸馏;3B 模型在 GUI-Odyssey 上反超 GUI-R1-7B 步成功率 +11.32%,同时 FLOPs 降 60%、推理快 2.47×。
- Hierarchical Attacks for Multi-Modal Multi-Agent Reasoning
-
本文提出 HAM³,把对「多模态多智能体系统(MM-MAS)」的对抗攻击拆成感知层、通信层、推理层三个相互衔接的层次,系统性地刻画扰动如何从单点输入级联到集体决策,在 GQA 上对 ReAct/Plan-and-Solve/Reflexion 三种范式做实验,最高攻击成功率(ASR)达 78.3%,并发现推理层攻击最强、最隐蔽、最难纠正。
- Hierarchical Process Reward Models are Symbolic Vision Learners
-
把"几何图理解"重新定义为一个符号自编码问题——编码器把图解析成点/线/形/关系的逻辑形式(latent 不再是像素向量而是符号图),可执行渲染引擎再把逻辑形式重画回原图,并用一套分层过程奖励(SymHPR)+ 稳定化 GRPO 来监督这条非可微管线,使 7B 模型在几何图重建上 MSE 降 98.2%、感知/推理 benchmark 上分别 +13% / +3%。
- HiFICL: High-Fidelity In-Context Learning for Multimodal Tasks
-
HiFICL 通过严格的注意力公式推导,将 ICL 近似问题从"拟合 shift vector"重构为"直接参数化 ICL 的源头"——在注意力头中注入可学习的低秩虚拟键值对,以端到端训练实现一种动态的、上下文感知的参数高效微调方法,在多个多模态基准上以极少参数超越现有 ICL 近似方法和 LoRA。
- HiSpatial: Taming Hierarchical 3D Spatial Understanding in Vision-Language Models
-
HiSpatial 提出将 3D 空间智能分解为四层认知层级(几何感知 → 物体属性 → 物体关系 → 抽象推理),构建了处理约 500 万张图像、4500 万个物体、20 亿 QA 对的自动化数据管线,并设计了以度量尺度点云图为辅助输入的 RGB-D VLM,以仅 3B 参数在多个空间推理基准上超越 GPT-5 和 Gemini-2.5-Pro。
- HOG-Layout: Hierarchical 3D Scene Generation, Optimization and Editing via Vision-Language Models
-
本文提出 HOG-Layout,一个基于 VLM 和 LLM 的层次化 3D 室内场景生成、优化和编辑框架,通过 RAG 增强语义一致性、力导向层次优化确保物理合理性,在 SceneEval 上以 4.5 倍更快的速度超越 LayoutVLM。
- HoneyBee: Data Recipes for Vision-Language Reasoners
-
系统研究视觉语言推理数据集的构建原则——上下文来源策略、数据干预(图像描述辅助信号+纯文本推理)、多维度数据扩展——并据此构建 250 万样本的 HoneyBee CoT 推理数据集,训练的 3B VLM 在 MathVerse 上超越 SOTA 7.8%,同时提出降低 73% 解码成本的测试时扩展策略。
- HouseMind: Tokenization Allows MLLMs to Understand, Generate and Edit Architectural Floor Plans
-
提出 HouseMind,通过层次化 VQ-VAE 将建筑平面图的轮廓和房间实例分别离散化为空间 token,与文本 token 统一到同一词汇表中,使小规模 LLM(0.6B)就能在单一自回归框架下实现平面图的理解、生成和编辑三大任务,性能全面超越基于扩散模型和大规模 VLM 的方法。
- Hugging Visual Prompt and Segmentation Tokens: Consistency Learning for Fine-Grained Visual Understanding in MLLMs
-
提出 FCLM,发现"区域描述(captioning)里的视觉提示嵌入
<VP>与 grounding 里的分割 token[SEG]其实指向同一区域、只是输入/输出方向相反",于是用自重构损失 + 隐空间余弦一致性损失把二者对齐,配合一个渐进式混合区域提取器和两阶段训练,让一个 MLLM 在 7 个细粒度视觉任务上同时刷到 SOTA。 - HumanVBench: Probing Human-Centric Video Understanding in MLLMs with Automatically Synthesized Benchmarks
-
提出 HumanVBench,一个包含 16 个细粒度任务的人体中心视频理解基准,配套两个自动化流水线(视频标注 + 干扰项感知 QA 合成),对 30 个主流视频 MLLM 的评测揭示了当前模型在细微情感感知和语音-视觉对齐方面的关键不足。
- Hyperbolic Gramian Volumes for Multimodal Alignment
-
针对 Euclidean Gramian 体积在 L2 归一化下"体积坍缩"(det≈1、方差近 0)而无法刻画语义丰富度的问题,本文把 Gramian 体积对齐搬到双曲(Lorentz 模型)空间以保住方差,并用一个可学习标量 \(\alpha\) 把欧氏体积与双曲体积凸组合,得到 HyperGRAM,在四个视频-文本检索基准上零样本 T2V Recall@1 较 Euclidean GRAM 提升 +1.8% 至 +2.9%。
- IF-Bench: Benchmarking and Enhancing MLLMs for Infrared Images with Generative Visual Prompting
-
本文构建了首个系统评测多模态大模型(MLLM)红外图像理解能力的高质量基准 IF-Bench(499 图 / 680 道 VQA / 10 个维度),系统评测 40+ 模型,并提出训练无关的生成式视觉提示 GenViP——用图像编辑模型把红外图翻译成对齐的 RGB 图、与原红外图一起喂给 MLLM 以缓解域偏移,在不微调任何模型的前提下带来最高约 7% 的相对提升。
- Illuminating Visual Identity in Universal Multimodal Embeddings
-
针对通用多模态嵌入(UME)一直忽视的"视觉身份判别"能力,本文把它形式化成 4 个元任务、造了一个 522K 样本的 MVEB 基准,再用一套"身份感知采样 + 统一对比损失"的简单框架联合训练,让 7B 模型在身份基准上拿到 78.8 的均分(大幅超越所有现有 UME),同时保持通用检索性能不掉。
- Illusion-Aware Visual Preprocessing and Anti-Illusion Prompting for Classic Illusion Understanding in Vision-Language Models
-
针对 VLM 面对经典视觉错觉时"凭记忆背答案而非真看图"的毛病,本文提出一套完全免训练的流水线——按问题类型对图像做"去错觉"预处理 + 反错觉提示词 + 5 票多数投票,在 DataCV Challenge 630 张官方测试集上拿到 90.48% 准确率(人工核验子集 98.41%),夺得赛道亚军。
- Improving Calibration in Test-Time Prompt Tuning for Vision-Language Models via Data-Free Flatness-Aware Prompt Pretraining
-
本文发现"给 TPT 加正则项改善校准"的本质是把 prompt 推向损失曲面的平坦极小值,于是提出 FPP——一个数据无关的 prompt 预训练框架,直接把初始 prompt 放进平坦区域,仅替换初始化、不改 TPT 任何流程,就同时刷新了准确率和校准(ECE/SCE)的 SOTA。
- InfiniBench: Infinite Benchmarking for Visual Spatial Reasoning with Customizable Scene Complexity
-
InfiniBench 是一个全自动、可参数化定制的 3D 场景基准"生成器":把自然语言场景描述翻译成物理合理、复杂度可控的逼真视频,从而能针对组合/关系/观测三类复杂度,理论上无限地批量造出 VLM 空间推理评测题,定向暴露模型在不同空间条件下的失败模式。
- Information-Theoretic Decomposition for Multimodal Interaction Learning
-
本文从信息论视角指出"多模态交互(冗余 R / 独有 U / 协同 S)是逐样本动态变化的",证明常规联合学习与模态集成各自只擅长其中一类交互,并提出 DMIL——用变分分解把表示显式拆成 R/U/S 三类成分、再用三阶段微调有针对性地强化它们,从而在不同交互构成的样本上都能拿到最优表现。
- Interactive Episodic Memory with User Feedback
-
针对"在长第一视角视频里用自然语言找出回答问题的那一刻"(EM-NLQ)只能一次出结果、无法纠错的问题,本文提出可交互的 EM-QnF 任务、一套无需人工标注的合成反馈数据生成配方,以及即插即用的反馈对齐模块 FALM——它给每个视频片段打"与反馈对齐分"并重加权原模型特征,让现有 EM-NLQ 模型在不引入笨重 LLM 的前提下,根据用户反馈把焦点移到正确片段,三个基准上 R1/R5 最高提升 +4.9/+5.4。
- Intervention-Aware Multiscale Representation Learning from Imaging Phenomics and Perturbation Transcriptomics
-
用配对的扰动转录组(RNA-seq)作为"特权信息"在训练期指导显微图像编码器学习——通过一个"转录组条件教师 → 纯图像学生"的蒸馏框架,把药物作用的机制信号灌进图像表征,使得测试时只用显微图像就能对未见过的药物/基因扰动做 one-shot 迁移和药物-靶基因发现,显著优于自监督(MAE/DINO)和对齐(CLIP-style)基线。
- IPR-1: Interactive Physical Reasoner
-
IPR 让一个 8B 的 VLM 在 1000+ 款异构游戏里通过"世界模型想象 rollout 打分 → 强化 VLM 策略"的闭环学习物理与因果,并用一套物理中心的潜在动作码 PhysCode 把"语义意图"和"视觉动力学"对齐成预测与推理共享的动作空间,整体竞争力(平均排名)超过 GPT-5。
- Is the Modality Gap a Bug or a Feature? A Robustness Perspective
-
本文从理论上证明:CLIP 等多模态对比模型出现的"模态间隙"(图像与文本被全局分隔)是初始化 + 对比损失共同造成的、与下游性能正交但与鲁棒性单调负相关的现象,因此可以用一个无需重训的后处理算法把一个模态沿间隙向量平移到另一模态,从而在不损失干净精度的前提下显著提升对噪声的鲁棒性。
- Is your VLM Sky-Ready? A Comprehensive Spatial Intelligence Benchmark for UAV Navigation
-
本文构建了首个面向无人机(UAV)视角的空间智能评测基准 SpatialSky-Bench(2 大类 13 个细粒度任务),配套 100 万样本的自动生成训练集 SpatialSky-Dataset,并用「SFT + GRPO 强化微调」训出专用模型 Sky-VLM,平均分 53.30,比最强基线 GPT-5(23.07)高 139.6%。
- IsoCLIP: Decomposing CLIP Projectors for Efficient Intra-modal Alignment
-
IsoCLIP 从理论上分析 CLIP 投影头的结构,发现余弦相似度计算中隐含一个模态间算子 \(\Psi = W_i^\top W_t\) 负责跨模态对齐,和一个模态内算子 \(\Psi_i = W_i^\top W_i\) 仅负责归一化但不促进模态内对齐;通过对 \(\Psi\) 的奇异值分解识别出近似各向同性(isotropic)的对齐子空间,去除各向异性方向后无需训练即可显著改善模态内检索和分类性能。
- Joint-Aligned Latent Action: Towards Scalable VLA Pretraining in the Wild
-
提出 JALA 框架,通过联合对齐预测嵌入与逆动力学生成的潜在动作,构建统一的潜在动作空间,使 VLA 能同时从标注数据和未标注的野外人类视频中学习,配合 7.5M 样本的 UniHand-Mix 数据集显著提升机器人操作泛化性。
- KEC: Hierarchical Textual Knowledge for Enhanced Image Clustering
-
KEC 利用 LLM 构建层级化的概念-属性结构化文本知识来引导图像聚类,在 20 个数据集上无需训练即超越零样本 CLIP 14 个数据集,证明了判别性属性比简单类名更有效。
- Keep it SymPL: Symbolic Projective Layout for Allocentric Spatial Reasoning in Vision-Language Models
-
SymPL 发现 VLM 做"从场景里某个物体的视角"出发的他者中心(allocentric)空间推理很差,于是免训练地把这类问题先抽取 3D 信息、再用投影/抽象/二分/定位四个因子改写成一张"哪个彩色圆点落在黄色区域"的符号化布局问题,把 VLM 不擅长的视角变换转成它天生擅长的"颜色区域定位",在他者中心与自我中心任务上都大幅涨点。
- Language-guided Frequency Modulation for Large Vision-Language Models
-
本文提出即插即用的 LFM:把 LVLM 喂给 LLM 之前的视觉细化从空间域搬到频域,用文本特征算出「强调图」选择性增强关键频带(高频对应局部细节、低频对应全局语境),不引入任何额外训练参数(只留一个轻量 MLP 投影器),在 GQA/MMB/MathVista 等多基准上稳定提升各种 LVLM。
- LASAR: Towards Spatio-temporal Reasoning with Latent Cognitive Map
-
LASAR 给具身智能体配了一套"双记忆"系统——逐帧的情景记忆 + 一张可查询的隐式认知地图,再用对比目标 ST-CRL 把地图"雕刻"成能编码拓扑/距离/方位关系的高层空间表征,从而在导航(VLN-CE)与零样本空间推理(VSI-Bench)上同时涨点 2%–3.5%。
- Learning to See through Illumination Extremes with Event Streaming in Multimodal Large Language Models
-
针对多模态大模型在过曝/极暗场景下 RGB 信息不可逆退化、产生幻觉的问题,Event-MLLM 引入事件流作为互补模态,用一个从 DINOv2 分支学到的「光照指示器」自适应调控事件-RGB 融合,再用「光照矫正损失」把融合特征对齐到正常光照语义,使模型在 0.05×–20× 的极端亮度下仍能稳定推理与计数。
- Learning What Matters: Prioritized Concept Learning via Relative Error-driven Sample Selection
-
提出 PROGRESS 框架,通过追踪 VLM 在自动发现的多模态概念集群上的学习进度来动态选择最有信息量的训练样本,仅用 16-20% 的标注数据就达到全数据 99-100% 的性能,且总训练时间更短。
- Let VLMs Grade Their Own Thoughts: A Self-Quantification Approach to Reasoning-Aware Reward Modeling
-
Video-RAISE 主张让视频 VLM 用自己生成答案时的「内在置信度(答案 token 概率)」给自己的推理链打分,从而把 GRPO 那种稀疏的 0/1 文本匹配奖励变成连续、细粒度的学习信号;针对严格逻辑题和开放题分别设计 SCRE 与 IGSR 两套奖励,在六个视频理解 benchmark 上达到 SOTA 并把推理链一致性做到约 90%。
- LFPC: Learning to Focus and Precise Cropping for MLLMs
-
LFPC 提出两阶段纯强化学习框架,通过"信息差"机制(降低全局图像分辨率迫使模型依赖高分辨率裁剪区域)和接地损失(提升裁剪精度),解决了现有 agent-based MLLM 中"先答后裁"的虚假工具调用问题,在高分辨率 VQA 上达到 SOTA。
- LifeEval: A Multimodal Benchmark for Assistive AI in Egocentric Daily Life Tasks
-
LifeEval 构建了首个面向"第一人称、实时、任务导向"的多模态助手评测基准——用 591 段 Ego4D 视频切片 + 4075 条带推理链的问答对,从六个能力维度(感知/推理/检索/规划/安全/多轮协作)检验 26 个主流 MLLM 能否像一个贴身助手那样实时帮人完成日常任务,结果揭示了它们在动态推理和目标规划上的明显短板。
- Linguistic Priors for Visual Decoupling: Towards Symmetric Vision-Brain Alignment
-
针对脑信号与自然图像之间的"语义信息不对称",用物体级文本描述当语言先验去显式解耦图像中的前景物体与背景,把不对称的视觉-脑对齐变成语义对称对齐,在 THINGS-EEG / THINGS-MEG 零样本脑→图检索上刷新 SOTA。
- Linking Perception, Confidence and Accuracy in MLLMs
-
揭示 MLLM 的严重置信度失校准问题(视觉输入退化时准确率暴跌但置信度不变),提出 CDRL(基于原始-噪声图像对的置信度驱动 RL)进行感知敏感性训练,并利用校准后的置信度实现自适应测试时缩放(CA-TTS),在四个基准上平均提升 8.8%。
- LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning
-
针对"当前多模态大模型几乎全是自回归范式、扩散路线尚未被验证"的空白,本文把视觉指令微调嫁接到掩码扩散语言模型 LLaDA 上,做出纯扩散的多模态大模型 LLaDA-V——靠双向注意力更好地捕捉视觉空间关系,在 18 个基准上不仅刷新纯扩散 MLLM 的 SOTA,还在相同训练数据下于 11 个任务上超过自回归基线 LLaMA3-V。
- LLaVAShield: Safeguarding Multimodal Multi-Turn Dialogues in Vision-Language Models
-
针对VLM多模态多轮对话中的恶意意图隐蔽性、上下文风险累积和跨模态联合风险三大挑战,构建4,484个标注对话的MMDS数据集和基于MCTS的MMRT红队框架,提出LLaVAShield审计模型,在用户/助手两侧分别达到F1 95.71%/92.24%,大幅超越GPT-5-mini等基线。
- LLMind: Bio-inspired Training-free Adaptive Visual Representations for Vision-Language Models
-
受人眼中央凹编码和皮层放大机制启发,提出无需训练的自适应采样框架 LLMind,通过 Möbius 变换实现非均匀像素分配,并利用闭环语义反馈在测试时优化采样参数,在仅使用 1%-5% 像素的紧张预算下大幅超越均匀采样。
- LVLM-Aided Alignment of Task-Specific Vision Models
-
用一个大视觉语言模型(LVLM)当"翻译官",把小型专用视觉模型的解释图翻成自然语言、再把人类类别级描述翻成逐样本的纠错掩码,从而在不需要逐图精细标注的情况下让小模型摆脱对虚假特征(shortcut)的依赖,在合成与真实医学数据上显著提升最差组准确率。
- M3Grounder: Mask-Based Multi-Span and Multi-Granular Grounding for Document QA
-
M3Grounder 把文档问答的"答案定位"从粗糙的边界框改造成像素级分割:VLM 一边生成答案、一边吐出
[GROUND]token,每个 token 经短语 / 行 / 块三个 MLP 头驱动一个可提示分割模块,产出嵌套的多粒度证据掩码,并在四个基准上刷到 SOTA。 - MA-Bench: Towards Fine-grained Micro-Action Understanding
-
提出 MA-Bench 微动作理解基准,包含 1000 个视频和 12000 个结构化 QA 对,通过"感知-理解-推理"三层评估架构系统测试 23 个 MLLM 的细粒度微动作理解能力,并构建 20.5K 训练语料 MA-Bench-Train 用于模型微调提升。
- MarkushGrapher-2: End-to-end Multimodal Recognition of Chemical Structures
-
MarkushGrapher-2 提出了一个端到端多模态化学结构识别模型,通过专用化学 OCR 模块联合编码图像、文本和布局信息,结合两阶段训练策略(先适配 OCSR 特征再融合多模态编码),在 Markush 结构识别上大幅超越现有方法(M2S 准确率 56% vs 38%),同时保持分子结构识别的竞争力。
- MASQuant: Modality-Aware Smoothing Quantization for Multimodal Large Language Models
-
揭示了通道平滑量化(如 SmoothQuant)直接应用于 MLLM 时的"平滑失配"问题——不同模态激活幅度差异巨大导致非主导模态被过度平滑,提出 MASQuant 通过模态感知平滑因子和基于 SVD 白化的跨模态低秩补偿解决该问题。
- Mastering Negation: Boosting Grounding Models via Grouped Opposition-Based Learning
-
提出 D-Negation 数据集和 Grouped Opposition-Based Learning (GOBL) 微调机制,通过对立语义配对和两个专用损失函数,仅微调不到 10% 参数即大幅提升视觉定位模型对否定语义的理解能力(最高 +5.7 mAP)。
- MCHDoc: A Comprehensive Benchmark for Reading Multi-Carrier Chinese Historical Documents
-
MCHDoc 把跨越 3000 多年、来自六种书写载体(古籍纸、简牍、书法宣纸、碑刻、缣帛、甲骨)的 15,724 张高分辨率历史文献整理成一个统一基准,模仿专家"先识别再考据校正"的工作流,设计了页级识别、字级识别、纯 LLM 后校正、知识库增强后校正四类任务,系统评测 20 多个开闭源 MLLM/LLM,发现即便顶级模型也很难做到跨载体泛化。
- Mechanisms of Object Localization in Vision-Language Models
-
作者用一套机制可解释性工具(token 消融、注意力 knockout、因果中介分析)解剖了 LLaVA-1.5 与 InternVL-3.5 内部到底"怎么"把物体定位出来,发现定位靠的是一种"容器化"机制——物体区域的 token 集体框定空间范围,其内部语义排布几乎无关——并且整个因果链只由极少数注意力头承担,分类与定位用的是基本不重叠的两组专用头,且定位在因果上依赖分类的中间结果,呈现"先识别、后定位"的顺序计算。
- Medic-AD: Towards Medical Vision-Language Model's Clinical Intelligence
-
Medic-AD 通过三阶段渐进式训练框架——异常检测(
token)、时序差异推理( token)、可视化解释(热力图),将通用医学 VLM 升级为具备病灶检测、症状追踪和视觉可解释性的临床智能模型,在多项医学任务上达到 SOTA。 - Mimic Human Cognition, Master Multi-Image Reasoning: A Meta-Action Framework for Enhanced Visual Understanding
-
针对多模态大模型(MLLM)在多图推理上明显掉点的问题,本文模仿人类认知,把多图推理拆成 Global / Focus / Hint / Think / Answer 五个结构化"元动作"(CINEMA 框架),用"检索式树采样"造两条高质量轨迹做冷启动、再用"多样性保持 + 退火 DAPO"两阶段强化学习防熵塌缩,让 7B 模型在 MUIR、MV-Math 等多图基准上反超 GPT-4o,并在视频与单图任务上同样涨点。
- Mind the Discriminability Trap in Source-Free Cross-domain Few-shot Learning
-
揭示了在 VLM 的跨域小样本微调中,增强视觉判别性反而损害跨模态对齐("判别性陷阱"),提出 SVL + RA 两个即插即用模块来抑制视觉学习捷径并引导跨模态对齐,在 4 个 CDFSL 数据集和 11 个 FSL 数据集上取得 SOTA。
- Mind the Way You Select Negative Texts: Pursuing the Distance Consistency in OOD Detection with VLMs
-
指出现有基于 VLM 的 OOD 检测方法使用模态内距离(文本-文本或图像-图像)选择负文本,与 CLIP 优化的跨模态距离不一致,提出 InterNeg 从文本和视觉两个视角系统地利用跨模态距离,在 ImageNet 上实现 FPR95 降低 3.47%。
- MindPower: Enabling Theory-of-Mind Reasoning in VLM-based Embodied Agents
-
MindPower提出以机器人为中心的心智理论(ToM)推理框架,将感知→信念→欲望→意图→决策→行动组织为六层推理层级,并用Mind-Reward(基于GRPO)优化推理一致性,在决策和动作生成上分别超过GPT-4o 12.77%和12.49%。
- MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data and Training Recipes
-
MiniCPM-V 4.5 用「统一 3D-Resampler 压缩视觉 token + 动态损坏统一文档/OCR 学习 + 短长双模式混合 RL」三招把一个 8B MLLM 做到既高效又强,在 OpenCompass 上以 77.0 分超过 GPT-4o-latest 和 Qwen2.5-VL 72B,且 VideoMME 推理只用约 10% 的时间。
- MM-SeR: Multimodal Self-Refinement for Lightweight Image Captioning
-
作者先发现把 MLLM 里的 7B 语言模型换成 125M 的 OPT 也能在事实性图像描述上逼近大模型,再提出多模态自我精炼框架 MM-SeR——让这个轻量模型先生成粗描述、再用粗描述引导提取更细的视觉特征做二次精炼,在单句/详细描述乃至长视频问答上都拿到接近大模型的效果,同时参数省 93%、推理时间省 97%。
- MMLandmarks: a Cross-View Instance-Level Benchmark for Geo-Spatial Understanding
-
MMLandmarks 构建了首个在「地面图 / 航拍图 / 文本 / GPS」四模态间做到逐地标一一对应的大规模实例级地理空间基准(美国 18,557 个地标、32.9 万地面图 + 19.7 万航拍图),并证明现有专用模型和通用基础模型都解不好它,再用一个 CLIP 风格的简单四模态对比学习 baseline(MMCLIP)说明「在这种数据上训练能一套模型横扫多任务」。
- MMSD3.0: A Multi-Image Benchmark for Real-World Multimodal Sarcasm Detection
-
作者指出现有多模态讽刺检测数据集/方法全是「单图」、抓不住跨图对比触发的讽刺,于是构建了首个全部由多图样本(每条 2–4 图)组成的真实世界基准 MMSD3.0,并配套提出跨图推理模型 CIRM(双阶段桥接 + 相关性引导融合),在 MMSD / MMSD2.0 / MMSD3.0 上都拿到 SOTA。
- Modeling Cross-vision Synergy for Unified Large Vision Model
-
PolyV 用「动态路由的稀疏 MoE + 协同感知训练」把图像/视频/3D 三种视觉模态拧成一个统一大视觉模型,让模型能像「联觉」一样把视频的时序先验、3D 的几何先验迁移去补静态图像的推理,在 10 个 benchmark 上相对骨干 Qwen2.5-VL-7B 平均提升超 10%。
- MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping
-
提出 MoDES,首个面向 MoE 多模态大模型的训练免调专家跳过框架,通过全局调制的局部门控(GMLG)和双模态阈值(DMT)机制自适应跳过冗余专家,在跳过 88% 专家时仍保留 97%+ 原始性能,并实现 2.16× prefill 加速。
- MODIX: Training-Free Multimodal Information-Driven Positional Index Scaling for VLMs
-
提出 MODIX,一个免训练框架,通过信息论分析(协方差熵+跨模态对齐)动态调整 VLM 中视觉和文本 token 的位置编码步长,将位置粒度分配给信息密集的模态以提升多模态推理。
- MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models
-
将 MoE 中的专家选择建模为序列决策问题,通过 GRPO 强化学习优化路由策略,引入模态感知路由引导,在 VLM 的图像和视频理解任务上一致超越确定性 top-K 路由及其变体。
- Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding
-
Molmo2 是一个完全开放(权重、数据、代码、训练配方全开,且数据不从任何闭源 VLM 蒸馏)的视频-语言模型家族,靠自建的 9 个新数据集 + 三阶段训练,把"在视频里用点和轨迹做 grounding"这一连闭源模型都欠缺的能力补齐,8B 模型在视频计数、指点、跟踪上大幅超越同级开源模型,部分任务甚至压过 Gemini 3 Pro。
- Monet: Reasoning in Latent Visual Space Beyond Image and Language
-
Monet 让多模态大模型不再靠裁剪/调外部工具来"看图思考",而是直接在连续的隐视觉空间里生成一串隐嵌入当作"中间视觉想法",用三阶段蒸馏式 SFT 把这种能力教会模型、再用专为隐推理设计的 VLPO 强化学习把隐嵌入也纳入策略梯度,最终 7B 模型在真实感知/推理和分布外抽象视觉推理上都稳定涨点。
- MOON2.0: Dynamic Modality-balanced Multimodal Representation Learning for E-commerce Product Understanding
-
针对电商多模态表征学习中"固定比例混合训练导致模态失衡、只建模商品间关系而忽略商品内图文对齐、原始数据噪声大"三大痛点,MOON2.0 用一个模态驱动 MoE 做端到端多模态联合学习、用双层对齐同时拉齐商品间与商品内关系、再配图文协同增强与动态样本过滤净化数据,并发布了 640 万规模的 MBE2.0 基准,在多项电商检索/分类/属性预测任务上零样本刷到 SOTA。
- More than the Sum: Panorama-Language Models for Adverse Omni-Scenes
-
提出 Panorama-Language Modeling(PLM)范式和 PanoVQA 大规模全景 VQA 数据集(653K QA 对),设计即插即用的全景稀疏注意力模块让现有 VLM 无需重训练即可处理等距柱状投影全景图,在遮挡和事故等恶劣场景下实现优于多视角拼接方案的全局推理。
- Mixture of States (MoS): Routing Token-Level Dynamics for Multimodal Generation
-
提出Mixture of States (MoS)——一种新的多模态扩散模型融合范式,用可学习的token级路由器将理解塔(冻结LLM/VLM)的任意层hidden state动态路由到生成塔(DiT)的任意层,以3-5B参数在图像生成和编辑上匹配或超越20B的Qwen-Image。
- Mostly Text, Smart Visuals: Asymmetric Text-Visual Pruning for Large Vision-Language Models
-
通过 MoT 探针实验揭示 LVLM 中文本通路和视觉通路对剪枝的不对称敏感性——文本通路高度敏感必须用文本 token 校准、视觉通路高度冗余可承受 60% 稀疏度,据此提出 ATV-Pruning 使用全部文本 token + 逐层自适应选择的少量视觉 token 构建校准池。
- MSJoE: Jointly Evolving MLLM and Sampler for Efficient Long-Form Video Understanding
-
提出 MSJoE 框架,将 MLLM 和轻量关键帧采样器通过强化学习联合进化——MLLM 生成视觉查询引导帧检索,1D U-Net 采样器从 CLIP 相似度矩阵中学习选帧,两者端到端联合优化实现长视频问答中 +8% 的准确率提升。
- Multi-Crit: Benchmarking Multimodal Judges on Pluralistic Criteria-Following
-
构建首个评估多模态 Judge 模型多准则遵循能力的基准 Multi-Crit,包含准则级人类标注和偏好冲突样本,配合 PAcc/TOS/CMR 三个新指标,全面评估 25 个 LMM 并揭示闭源最强模型在开放生成任务上仅 32.78% 的多准则一致性。
- Multi-Metric Representation Learning Strategy Based on Clustering for Fine-Grained Multimodal Sentiment Analysis
-
针对多模态情感分析中"不同模态融到同一表征空间后情感类中心相互重叠、细粒度边界模糊"的问题,MMRest 先把三模态表征做 k-means 情感聚类、再用一个全局度量 + 各簇局部度量的多度量学习拉近同情感、推开异情感,最后用投影与决策级融合(PDLF)把度量得到的几何投影偏置与单模态预测分数相加,在 CMU-MOSI/MOSEI 上以约 Transformer 方法 30% 的参数量超过 SOTA。
- Multi-Modal Image Fusion via Intervention-Stable Feature Learning
-
提出一个受因果推理启发的多模态图像融合框架,通过三种结构化干预策略(互补掩码、随机掩码、模态丢弃)探测模态间的真实依赖关系,并设计因果特征整合器 (CFI) 学习干预稳定特征,在 MSRS 上 PSNR 达到 66.02、AG 达到 4.129,目标检测 mAP 达到 0.821。
- Multi-Modal Representation Learning via Semi-Supervised Rate Reduction for Generalized Category Discovery
-
提出 SSR²-GCD 框架,通过半监督编码率减少(Semi-Supervised Rate Reduction)损失学习模态内均匀压缩的结构化表征,并结合检索式文本聚合策略增强跨模态知识迁移,在8个数据集上超越现有多模态GCD方法。
- Multi-modal Test-time Adaptation via Adaptive Probabilistic Gaussian Calibration
-
针对多模态测试时自适应(TTA)中「模态分布非对称」导致类条件分布建模失效的问题,AdaPGC 用类专属协方差的概率高斯模型显式建模每个类的特征分布、并用基于对称 KL 的对比矫正抑制受损模态的偏置,在 Kinetics50-C / VGGSound-C 上多数损坏设定下取得 SOTA。
- Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance
-
把多模态持续指令微调(MCIT)中的灾难性遗忘重新定义为「新任务训练时缺失了旧任务梯度」,DGG 用「当前参数指向旧任务最优参数的方向向量」近似旧任务梯度、与有限重放缓冲的真实梯度相加、再用伯努利采样动态调控更新频率,不扩展模型就在 VQAv2 / UCIT 上取得 SOTA。
- Multimodal Distribution Matching for Vision-Language Dataset Distillation
-
本文提出 MDM(Multimodal Distribution Matching),一个面向图文数据集蒸馏的几何感知分布匹配框架——在数据、模型、损失三个层面同时下手(联合空间聚类初始化 + 角度引导的权重插值初始化 + 单位超球面上的测地核能量匹配),用单层优化直接对齐真实与合成数据的联合分布,从而把蒸馏成本相比基于训练轨迹的 SOTA(LoRS)降低高达 98%,同时在跨架构泛化上反超基线。
- Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration
-
本文提出 CPSC(Conformal Predictive Self-Calibration),把模态不平衡和噪声污染这两个看似独立的"低质量数据"问题归因于同一个根源——模型对各模态/各样本可靠性的预测不确定性,并用共形预测(CP)在训练过程中实时生成可靠性分数,同时在特征层(挑出可靠特征分量重组)和梯度层(按样本可靠性重加权梯度)做自校准,在 6 个数据集的不平衡与噪声设置下都刷新了 SOTA。
- Multimodal RewardBench 2: Evaluating Omni Reward Models for Interleaved Text and Image
-
MMRB2 是首个面向「omni 模型」(能在同一序列里任意交错读写文本与图像)的奖励模型评测基准,横跨文生图、图像编辑、交错生成、多模态推理四大任务,每任务 1000 对专家标注偏好对,揭示出当前最强裁判(Gemini 3 Pro 仅 76% 平均一致率)与人类(>90%)之间仍有显著差距。
- MUPO: All Roads Lead to Rome - Incentivizing Divergent Thinking in Vision-Language Models
-
MUPO 揭示了 GRPO 训练导致推理多样性坍缩的问题——模型过早收敛到少数推理策略而丢弃大多数替代方案。通过将响应分组进行局部化优势估计并引入多样性奖励,MUPO 激励 VLM 保持发散思维,在多个推理基准上提升 2-7%。
- µVLM: A Vision Language Model for µNPUs
-
µVLM 是首个专为「µNPU」(MCU 级、mW 功耗、内存仅几十 MB 的微型神经处理单元)设计的视觉-语言模型,用全程 NPU 友好算子的 OverMod 编码器 + AttSSM 解码器替代不被硬件支持的自注意力,在 COCO Karpathy 上拿到 117.8 CIDEr 的同时,首次在 µNPU 上实现毫秒级 VLM 推理(TBT 21 ms、功耗 <300 mW)。
- MVP: Multiple View Prediction Improves GUI Grounding
-
针对 GUI 定位模型「截图轻微扰动就让坐标预测剧烈跳变」的不稳定性,提出免训练的 MVP 框架:用指令-视觉注意力裁出多个子视图各自独立预测,再把这些坐标做空间聚类、取最大簇中心作为最终输出,在 ScreenSpot-Pro 上把 Qwen3VL-32B 从 55.3 拉到 74.0。
- Nano-EmoX: Unifying Multimodal Emotional Intelligence from Perception to Empathy
-
Nano-EmoX 提出认知启发的三级情感任务层次(感知→理解→交互),是首个以2.2B紧凑参数统一六项核心情感任务的多模态语言模型,通过P2E渐进式训练框架从基础感知逐步培养到高层共情能力。
- Narrative Weaver: Towards Controllable Long-Range Visual Consistency with Multi-Modal Conditioning
-
提出 Narrative Weaver 框架,结合 MLLM 的叙事规划与扩散模型的精细生成,通过可学习查询和动态 Memory Bank 实现多模态条件下的长程视觉一致性生成,并构建首个电商广告视频分镜数据集 EAVSD(330K+ 图像)。
- No Hard Negatives Required: Concept Centric Learning Leads to Compositionality without Degrading Zero-shot Capabilities of Contrastive Models
-
C2LIP 提出不依赖 hard negatives 的对比学习微调方案:通过将文本拆解为名词短语概念并引入跨模态注意力池化,在 SugarCrepe/SugarCrepe++ 组合性基准上达到 SOTA,同时保持甚至提升零样本和检索性能。
- Noise-Aware Few-Shot Learning through Bi-directional Multi-View Prompt Alignment
-
提出NA-MVP框架,通过双向(clean + noise-aware)多视图prompt设计配合非平衡最优传输(UOT)实现细粒度patch-to-prompt对齐,并用经典OT对识别出的噪声样本做选择性标签修正,在噪声小样本学习场景下持续超越SOTA。
- Octopus: History-Free Gradient Orthogonalization for Continual Learning in Multimodal Large Language Models
-
针对多模态大模型持续学习中"既不想存历史数据、又要防灾难性遗忘"的难题,Octopus 证明比参数正交更该做的是梯度正交,提出只用历史权重(不用历史数据)的 History-Free 梯度正交(HiFGO),再配一个先自由适配后约束精修的两阶段微调,在 UCIT 基准上 Avg / Last 分别超过前 SOTA 2.14% / 6.82%。
- OddGridBench: Exposing the Lack of Fine-Grained Visual Discrepancy Sensitivity in Multimodal Large Language Models
-
提出 OddGridBench 评估 MLLM 的细粒度视觉差异感知能力(找出网格中与其他元素在颜色/大小/旋转/位置上不同的那个),发现所有 MLLM 远低于人类水平,进而提出 OddGrid-GRPO(课程学习 + 距离感知奖励)显著提升模型的视觉辨别力。
- OmniZip: Audio-Guided Dynamic Token Compression for Fast Omnimodal Large Language Models
-
OmniZip 是首个面向全模态大模型(OmniLLM)音视频联合理解的免训练 token 压缩框架:它用音频 token 的注意力分布作为「信息密度 / 事件边界」先验,在每个时间窗内动态地决定视频 token 的剪枝率,再用交错时空压缩模块(ISTC)压缩视频 token,在 Qwen2.5-Omni 上实现 3.42× prefill 加速、1.4× 显存下降,且几乎不掉点。
- OmniZip: Learning a Unified and Lightweight Lossless Compressor for Multi-Modal Data
-
OmniZip 用一个仅几 M~百 M 参数的 RWKV 骨干,配上"模态统一分词 + 模态路由 MoE",做到一个模型无损压缩图像/文本/语音/触觉/基因/数据库七种模态,比 gzip 高 42%~62% 压缩率,还能在 MacBook CPU、iPhone NPU 上跑到约 1MB/s 的近实时速度。
- On Token's Dilemma: Dynamic MoE with Drift-Aware Token Assignment for Continual Learning of Large Vision Language Models
-
揭示了动态 MoE 持续学习中"token 困境"——新任务数据中的模糊和旧 token 对新知识贡献微弱却会导致路由漂移和灾难性遗忘,提出 LLaVA-DyMoE 通过 Token Assignment Guidance 和 Routing Score Regularization 缓解路由漂移,在 CoIN 基准上 MFN 提升超 7%,遗忘降低 12%。
- One Patch to Caption Them All: A Unified Zero-Shot Captioning Framework
-
把零样本图像描述从"以整图为单位"改成"以 patch 为原子单位",用冻结的稠密视觉骨干(DINOv2 系)抽 patch 特征、按区域做无参聚合、再喂给纯文本训练的解码器,从而在不用任何区域级标注的前提下,用一个统一框架同时干掉单 patch / 框 / 鼠标轨迹 / 整图等多粒度描述任务。
- OneCAT: Decoder-Only Auto-Regressive Model for Unified Understanding and Generation
-
OneCAT 把"理解 + 生成 + 编辑"塞进同一个 decoder-only Transformer,靠一个按模态硬路由的 MoE(文本/理解/生成三类专家)实现 encoder-free 推理,并首次把多尺度自回归生成搬进 LLM(配 Scale-Aware Adapter),在统一模型里同时拿到 SOTA 性能和约 10× 于扩散模型的生成速度。
- OneThinker: All-in-one Reasoning Model for Image and Video
-
用一个 8B 模型同时把图像和视频上的 10 类基础视觉任务(问答、描述、时空 grounding、跟踪、分割)统一成「先 think 再结构化输出」的推理范式,靠新提出的 EMA-GRPO 解决多任务 RL 里不同任务奖励量纲/密度差异巨大导致的优化失衡,在 31 个 benchmark 上全面超越同规模专用模型。
- OpenMMReasoner: Pushing the Frontiers in Multimodal Reasoning with an Open and General Recipe
-
OpenMMReasoner 给"如何把开源多模态大模型训成强推理模型"提供了一套全透明、可复现的两阶段配方:先用 874k 高质量蒸馏数据做 SFT 冷启动,再用 74k 数据做 RL(GSPO)打磨,在 Qwen2.5-VL-7B 基础上九个多模态推理基准平均提升 11.6%。
- ORIC: Benchmarking Object Recognition under Contextual Incongruity in Large Vision-Language Models
-
ORIC 把"物体出现在不该出现的场景 / 该出现却缺席"这种上下文不一致形式化为一种不确定性来源,用 LLM 引导和 CLIP 引导两种采样策略从 MSCOCO 造出专门考验这种情形的二分类基准 ORIC-Bench,揭示 18 个主流 LVLM 在此场景下宏 F1 从近满分跌到约 60–80,并用 600 条 ORIC 风格样本做 Visual-RFT 微调把表现拉回来且更贴近人类判断。
- ORION: ORthonormal Text Encoding for Universal VLM Adaptation
-
ORION 只用类别名(不碰任何图像)对 CLIP 文本编码器做 LoRA 微调,损失里加一项把各类文本原型推向两两正交的 Frobenius 惩罚、同时约束不偏离原始零样本原型,造出一组角度更分散、判别力更强的"通用文本分类器",作为即插即用替换品在零样本、少样本、测试时自适应三种设定、11 个数据集、3 个 backbone 上一致涨点。
- OVOD-Agent: A Markov-Bandit Framework for Proactive Visual Reasoning and Self-Evolving Detection
-
把开放词表目标检测(OVOD)从"文本与区域的一次性静态匹配"改造成一个无大模型依赖的主动视觉推理过程:用八态弱马尔可夫决策过程(w-MDP)刻画视觉状态转移,用 UCB Bandit 在不确定区域采样推理轨迹,再用 Markov 转移统计联合训练一个轻量奖励-策略模型(RM)形成自演化闭环,在 COCO / LVIS 上稳定提升稀有类检测且推理开销极小。
- PACT: Phase-Like Transition Constraints in Adapter-Based Continual Learning of Vision-Language Models
-
针对"用正交约束隔离各任务 adapter 会压制跨任务知识共享"的痛点,作者从 PAC-Bayes 理论推导出一个后收敛阶段应满足的"相像转变约束(PACT)":让 adapter 像水的相变一样在"冻结(保历史)"与"融化(适应新任务)"两个状态间平滑过渡而非硬阈值切换,通过双分支 ViT + 稳定 adapter 初始化(SAI)+ 先验锚定(PA)落地,在多种持续学习设定上超过 SOTA,且可训练参数比标准 adapter 基线少 36.96%。
- PaddleOCR-VL: Boosting Document Parsing Efficiency and Performance with Coarse-to-Fine Visual Processing
-
PaddleOCR-VL 提出粗到细的文档解析架构:粗阶段用轻量级有效区域聚焦模块(VRFM)定位文档中的有效视觉区域并预测阅读顺序,细阶段用紧凑的0.9B视觉语言模型对裁剪区域进行精细识别,在最少视觉token和参数下实现文档解析SOTA。
- PAI-Bench: A Comprehensive Benchmark for Physical AI
-
PAI-Bench 把「物理 AI 所需的预测与感知能力」拆成视频生成、条件视频生成、视频理解三条赛道,用 2808 个真实世界样本和任务对齐的指标系统评测 15 个视频生成模型与 16 个多模态大模型,结论是:当前视频生成模型画面逼真但守不住物理规律,MLLM 的物理理解远落后于人类。
- Parallel In-context Learning for Large Vision Language Models
-
提出 Parallel-ICL,将多模态 in-context learning 的长 demonstration 上下文分块并行处理,通过加权 Product-of-Experts 在 logit 层集成,实现与全上下文 MM-ICL 相当甚至更优的性能,同时显著降低推理延迟。
- Parameter-Efficient Adaptation for MLLMs via Implicit Modality Decomposition
-
针对 LoRA 微调多模态大模型时"文本模态过度主导参数更新"的失衡问题,本文提出 IMoD:把单个 LoRA 矩阵隐式划分成文本专属、非文本专属、共享三块,再用两条直接注入反向传播的梯度级约束去引导它们各司其职,在不增加任何可训练参数、保持权重可合并的前提下,音视文任务平均提升约 3.3%。
- PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs
-
PAS 把 Video LLM 时间编码的不稳定诊断成"对一条带高频纹波的逆傅里叶时间核采样",提出免训练的多头反相相位平滑——给不同注意力头的 query 加上小幅相反的时间相位偏移再正常聚合,相当于做一次受控滑动平均把纹波抹平,在九个视频基准上稳定涨点且几乎零额外开销。
- PDCR: Perception-Decomposed Confidence Reward for Vision-Language Reasoning
-
针对"把语言域里的置信度增长过程奖励直接搬到视觉语言推理"会因为视觉感知步骤稀疏、被密集文本推理步骤的统计量淹没(mixture-induced signal degradation)的问题,PDCR 用一个模型自带的 Visual Dependence Score + Otsu 阈值把每一步无监督地分成"看图(感知)"和"想(推理)"两簇,再在各自簇内独立做 min-max 归一化算 advantage,从而给稀疏的视觉步骤一个不被文本步骤压扁的、尺度正确的奖励信号,在 7 个 V-L 推理 benchmark 上稳定超过 GRPO/DAPO/PACR。
- Perception Programs: Unlocking Visual Tool Reasoning in Language Models
-
提出 Perception Programs (P2),一种训练免费、模型无关的方法,将视觉工具(深度、光流、对应等)的原始输出转换为紧凑的语言原生结构化摘要,使 MLLM 能直接"阅读"视觉模态而非从密集像素推断,在 BLINK 6 个任务上平均提升 19.66%。
- Perceptual-Evidence Anchored Reinforced Learning for Multimodal Reasoning
-
针对 RLVR 训练视觉语言模型时「只验证文本答案、放任上游视觉感知出错」的缺陷,PEARL 用一份从原题派生的「感知清单」给每道推理题加一组可验证的感知子问题,把感知奖励既当作直接监督信号、又当作放行推理更新的「保真门控」,从而在 MathVerse 等 6 个多模态推理基准上相对 baseline 平均提升约 +9.7%。
- Personalized Image Descriptions from Attention Sequences
-
DEPER 第一次把"每个人怎么看图"(注意力扫视轨迹)当成个性化信号,蒸馏出一个跨图像稳定的主体嵌入,再用一个轻量 adapter 把它注入冻结的 Qwen2-VL,让模型在不需要测试时注视数据、不需要逐人微调的情况下,生成符合个人风格的图像描述,四个数据集平均提升约 24%。
- PersonaVLM: Long-Term Personalized Multimodal LLMs
-
本文提出 PersonaVLM,一个面向长期个性化的多模态智能体框架,通过主动记忆管理(四类记忆数据库)、多步推理检索和动量式人格演化机制,将通用 MLLM 转化为能适应用户偏好变化的个性化助手,在 128K 上下文下超越 GPT-4o 5.2%。
- Phrase-Grounding-Aware Supervised Fine-Tuning for Chart Recognition via Side-Masked Attention
-
在 VLM 微调阶段插入一个无新增参数的"侧掩码注意力模块"(SMAM),把答案里每个短语对齐到图表上的文字区域、监督该区域的 logit 贡献,从而让模型在做图表问答时把生成"接地"到正确的视觉区域,在 ChartQA / C2T 等多个基准上稳定超过标准 SFT。
- PhyCritic: Multimodal Critic Models for Physical AI
-
PhyCritic 用「物理技能预热 + 自参照评审微调」两阶段 RLVR 管线,把一个 7B 多模态模型训成专评物理 AI(感知/因果/规划)任务的评审模型——核心是让评审模型「先自己解题、再拿自解当参照去判两个回答谁更好」,在新建的 PhyCritic-Bench 上拿到开源 7B/8B 最佳,同时作为策略模型也提升了物理推理能力。
- PhysInOne: Visual Physics Learning and Reasoning in One Suite
-
PhysInOne是一个包含153,810个动态3D场景和200万个标注视频的大规模合成数据集,覆盖力学、光学、流体动力学和磁学的71种基本物理现象,为物理感知的世界模型建立了新基准。
- PIX-TAB: Efficient PIXel-Precise TABle Structure Recognition Approach with Speculative Decoding and Region-Based Image Segmentation
-
PIX-TAB 用一套把行列像素坐标直接编进序列的"位置感知像素精确 token",让一个轻量编码器-解码器模型既输出表格结构又能确定性地还原每个单元格框,再配上规则化的推测解码和基于泛洪填充的区域分割,做到精度持平 SOTA、速度翻倍、可在手机上跑的表格结构识别。
- PointAlign: Feature-Level Alignment Regularization for 3D Vision-Language Models
-
提出 PointAlign,在 3D VLM 的 LLM 中间层对点云 token 施加特征级对齐正则化(与 Q-Former 输出对齐),仅训练轻量对齐投影器和 LoRA 适配器,即可有效防止几何信息在语言建模过程中退化,在开放词汇分类上提升 7.50pp。
- Pointing at Parts: Training-Free Few-Shot Grounding in Multimodal LLMs
-
POP 是一个免训练、即插即用的方法,把 MLLM 的语言引导注意力图(提供语义和指代能力但粗糙)和 DINOv3 自监督特征的双向视觉对应(精确但多目标时分不清)做逐元素相乘融合,让 MLLM 在少样本下实现部件级(如「笔记本的键盘」)而非仅实例级的精确指点,1-shot 在三个数据集上平均涨最多 8.9 分、3-shot 涨 16.4 分,连本来不会指点的 MLLM 也能涨最多 30.9 分。
- POINTS-Long: Adaptive Dual-Mode Visual Reasoning in MLLMs
-
POINTS-Long 给一个训练好的多模态大模型(MLLM)加装一个"待机模式":用一小撮可学习 token 把整段视觉序列蒸馏成 1/40–1/10 的长度,在长视频理解上保留 97.7%–99.7% 的原始精度,同时完全保留原模型的高保真"专注模式",并借可拆卸 KV Cache 支持超长流式视频,端到端解码吞吐提升最高 6.2×。
- PointThinker: Point-Incentivized Parallel Thinking for Multimodal Large Language Model
-
PointThinker 让多模态大模型(MLLM)在推理时先显式列出图像里的多个"关键点"、再围绕每个点独立展开一条推理路径,从而把并行思维的多样性放大;并配套一种点级密集奖励 RL 方法 GPPO,给同一条思维链里"有用的点"和"无效的点"分配不同奖励,在 HallusionBench 等难基准上把 Qwen2.5-VL-7B 提升 +4~6 个点。
- Proof-of-Perception: Certified Tool-Using Multimodal Reasoning with Compositional Conformal Guarantees
-
提出 Proof-of-Perception (PoP),将多模态推理建模为可执行的有向无环图(DAG),每个感知/逻辑节点输出带有保形预测证书的集合值(提供逐步可靠性保证),并用轻量控制器基于这些证书在计算预算内自适应分配算力,在文档、图表和多图QA基准上超越CoT、ReAct和PoT基线。
- PowerCLIP: Powerset Alignment for Contrastive Pre-Training
-
PowerCLIP 把"图像区域子集的幂集"和"文本句法树短语"做穷举的局部到全局对齐,再用线性复杂度的非线性聚合器(NLA)把幂集对齐的指数级开销降到 \(O(M)\),在 28 个零样本基准上 22 个超过现有 CLIP 类方法,尤其在组合性与鲁棒性上提升明显。
- PP-OCRv5: A Specialized 5M-Parameter Model Rivaling Billion-Parameter Vision-Language Models on OCR Tasks
-
PP-OCRv5 不靠堆参数,而是用一套"数据为中心"的方法论——沿难度、准确度、多样性三个维度系统筛选并扩展训练数据——把一个仅 5M 参数的两阶段 OCR 系统训到能与百亿乃至千亿参数 VLM 在标准 OCR 基准上掰手腕,同时在定位精度、幻觉抑制和算力成本上全面占优。
- Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models
-
本文系统诊断了MLLM中LLM中间层视觉表征在全局功能和patch语义结构两个层面的退化现象,揭示其本质是纯文本生成目标下的"视觉牺牲",并提出Predictive Regularization (PRe) 通过让退化的中间层特征预测初始视觉特征来缓解退化,在多个VL基准上取得一致提升。
- Prime Once, then Reprogram Locally: An Efficient Alternative to Black-Box Service Model Adaptation
-
本文提出AReS方法,用单次API查询预热本地编码器代替传统零阶优化(ZOO)的持续API调用,在GPT-4o上获得+27.8%提升(ZOO方法几乎无效),同时将API调用量减少99.99%以上,实现了无成本推理。
- Probabilistic Prompt Adaptation for Unified Image Aesthetics and Quality Assessment
-
PPA 把"用哪句文本 prompt 来评分"当成一个隐变量,对一池由 LLM 预采样的对立 prompt 做概率加权边缘化,从而在只用 (任务, 图像, 分数) 三元组、不需要任何 prompt/属性标注的情况下,同时学到一个高精度的任务打分器和一个可被任意文本 prompt 控制的通用美学/质量评估器。
- ProSoftArena: Benchmarking Hierarchical Capabilities of Multi-modal Agents in Professional Software Environments
-
ProSoftArena 是首个面向专业软件(CAD、ChemDraw、ArcGIS、Photoshop 等 13 款)的多模态智能体基准,它把智能体能力划成 L1–L5 五级,在真实 Windows 虚拟机里用执行结果自动判分,并独创"人在回路"评测,结果显示最强智能体在软件级任务(L2)成功率仅 20.6%、跨软件工作流(L3)几乎全军覆没。
- Protect to Adapt: Orthogonal Subspace Control with Ranked Negative-Prompt Curriculum for Few-Shot Action Recognition
-
把 CLIP 适配到少样本动作识别(FSAR)时,作者用「正交子空间控制(OSC)」把 LoRA 更新约束到预训练权重主子空间的正交补里,避免破坏通用语义、抑制灾难性遗忘;再用「排序负提示课程(RNC)」让 LLM 生成由易到难、经校验器过滤的类内难负样本去拉大决策边界——只训 2% 参数就在 5 个 FSAR 基准上刷到 SOTA。
- Prototype-as-Prompt: Multimodal Sentiment Prototypes Endowing Large Language Models the Capability to Perform Multimodal Sentiment Analysis
-
这篇论文提出 Prototype-as-Prompt(PaP),把音视频模态压缩成一组带显式情感语义的"情感原型"当作软提示喂给冻结的 LLM 做多模态情感分析,靠情感监督、跨模态对齐和多样性约束让原型真正编码情感含义,仅用 0.09%–0.26% 的可训练参数就在四个数据集、三种 LLM 上超过此前 SOTA。
- Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment
-
Proxy3D 把视频帧的语义特征 + 几何点云按"语义组"聚类成一组紧凑的 3D 代理(proxy)token,再用 SpaceSpan 数据集做多阶段对齐训练,让 VLM 仅用 700 个视觉 token(不到对手 1/10)就在 3D 问答、视觉定位、空间推理上做到与 SOTA 相当甚至更好的水平。
- Prune2Drive: A Plug-and-Play Framework for Accelerating Vision-Language Models in Autonomous Driving
-
首个面向多视角自动驾驶 VLM 的即插即用 token 剪枝框架,通过 T-FPS(token 级最远点采样)保持语义与空间多样性,配合视图自适应剪枝率优化自动分配各摄像头 token 预算,在 DriveLM 上仅保留 10% token 即实现 6.40× prefill 加速且性能仅降 3%。
- QUANTIPHY: A Quantitative Benchmark Evaluating Physical Reasoning Abilities of Vision-Language Models
-
QUANTIPHY 是首个定量评测 VLM 物理推理能力的基准:给定一段视频和某个物体的单一物理先验(尺寸 / 速度 / 加速度,真实世界单位),要求模型推断目标物体的运动学量的数值,用 3.3K+ 视频-文本实例和数值真值,揭示出当前 VLM「语言上听起来合理、数值上系统性错误」的鸿沟——它们更多依赖预训练世界知识而非忠实使用给定的视觉与文本输入。
- R-4B: Incentivizing General-Purpose Auto-Thinking in MLLMs via Bi-Mode Annealing and Reinforce Learning
-
R-4B 让一个 4B 多模态大模型学会"该思考时才思考":先用 bi-mode 退火把单个 backbone 同时练成"会推理"和"会直答"两种模式,再用 双模式策略优化(BPO)——对每条 query 强制同时采样思考/非思考两组回答并联合优化——只靠简单的数学规则奖励,就在 25 个 benchmark 上取得同规模 SOTA,推理任务追平甚至超过更大的模型,同时大幅省下冗余推理的 token。
- R-C2: Cycle-Consistent Reinforcement Learning Improves Multimodal Reasoning
-
R-C2 把多模态大模型「同一内容、图文两种输入答得不一样」这个模态鸿沟反过来当作免标注的奖励信号:让模型从一个候选答案反推出问题、再切换模态正向重建答案,重建得上就给奖励,用这个稠密的循环一致性信号做 GRPO 强化学习,在 6 个多模态推理基准上最多涨 7.6 个点。
- R4-CGQA: Retrieval-based Vision Language Models for Computer Graphics Image Quality Assessment
-
R4-CGQA 针对"计算机图形(CG)图像质量评估缺乏可解释文本描述、且 VLM 直接评判 CG 质量不够准"的问题,先构建首个带六维质量描述的 3.5K CG 数据集,再提出一个内容相似 + 质量相似双流检索框架——免微调地把视觉相似 CG 图的质量描述当作示例喂给 VLM,在 LLaVA、Llama 3.2-V、Qwen2.5-VL 等多个 VLM 上一致提升 CG 质量评估能力。
- R4: Retrieval-Augmented Reasoning for Vision-Language Models in 4D Spatio-Temporal Space
-
R4 给冻结的视觉-语言模型外挂一个随时间持续生长的"4D 时空知识库"(语义+三维空间+时间),推理时把自然语言查询拆成语义/空间/时间三把钥匙去检索这块记忆并迭代注入 VLM,从而在不训练任何参数的情况下,让 VLM 能回忆几分钟前看过的物体、推断被遮挡/已消失的实体、并跨智能体协同,在具身问答与导航基准上大幅超越 GPT-5、o3 等强基线。
- Ramen: Robust Test-Time Adaptation of Vision-Language Models with Active Sample Selection
-
针对 CLIP 在「测试流里混杂多个域」时自适应会退化的问题,Ramen 为每个测试样本即时从历史样本里检索一个「同域 + 类别均衡」的支持集做单样本定制更新,并用嵌入-梯度缓存把检索式更新的开销压成几乎零额外前/反向传播,在多个 corruption / 域偏移 benchmark 的混合域设置下稳定领先。
- Re-evaluating Continual VQA: Toward Fair and Robust Evaluation for Multimodal Continual Learning
-
本文指出现有持续 VQA 基准存在"跨任务共享答案词表"和"任务内训练/测试答案分布相同"两个结构性缺陷,会高估抗遗忘能力,于是重建了强制答案空间逐 token 互斥、并引入任务内分布漂移的 UCo-VQA 基准;同时提出 MaDQ——只回放历史问题、配合双层蒸馏与图文匹配正则的参数高效方法,在去偏后的更难设定下取得 SOTA。
- RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding
-
针对"常规 RGB 在低光/高动态/快速运动下退化、纯事件流又缺颜色纹理"的痛点,本文提出首个 RGB-Event 双流视觉语言模型 RE-VLM,用并行 RGB/事件编码器 + 三阶段渐进对齐把异构视觉特征对到语言空间,并用图驱动、退化自适应的数据管线把同步 RGB-Event 流转成可核验的场景图来批量合成字幕与问答,在字幕与 VQA 上优于参数相当甚至更大的 RGB-only / event-only 模型,恶劣光照下增益尤其明显。
- Reading or Reasoning? Format Decoupled Reinforcement Learning for Document OCR
-
作者发现 OCR 模型在公式/表格这类「格式化文本」上的输出熵比纯文本高一个数量级,于是提出 Format Decoupled RL(FD-RL):用熵给样本排序筛出格式密集的难样本,再按文本/公式/表格三类内容各配一套奖励函数做 GRPO 训练,在 OmniDocBench 上拿到端到端模型里很有竞争力的 90.41 分。
- ReaGEN: Adaptive Generation of Structured Chains-of-Thought for Efficient Multimodal Reasoning
-
ReaGEN 不微调视觉语言模型本体,而是用一个仅 18M 参数的轻量生成器,根据每道题的注意力流自适应地"排出"一条结构化思维链(哪几个推理阶段、按什么顺序),从而以单遍推理拿到接近深度搜索的精度——在 Qwen3-VL-4B 上相对 VReST 最高提升 +26 个准确率点,同时把推理 token 用量平均压掉约 53%(部分基准达 79%)。
- RealBirdID: Benchmarking Bird Species Identification in the Era of MLLMs
-
RealBirdID 是一个面向「答得出就给物种、答不出就给理由」的细粒度鸟类识别基准:它从 iNaturalist 真实争议样本里挖出 3.4k 张「不可答」图片(标注上「需要叫声 / 角度遮挡 / 画质太差」三类拒答理由)配上同属的「可答」样本,并配套三套指标,结果发现 GPT-5、Gemini-2.5 Pro 等顶尖 MLLM 在物种级准确率不足 13%、几乎无法区分可答与不可答、即使拒答理由也大多给错。
- Reasoning Palette: Modulating Reasoning via Latent Contextualization for Controllable Exploration for (V)LMs
-
用一个 VAE 学出"推理策略"的连续隐空间,每次采一个隐变量解码成可学习前缀拼到 prompt 前面,让 (V)LM 在生成第一个 token 之前就在"策略层面"做采样,从而把 RL/推理时的探索从 token 级随机升级成结构化的策略级多样性,在数学推理和视觉 grounding 上都稳定涨点。
- ReasonMap: Towards Fine-Grained Visual Reasoning from Transit Maps
-
提出 ReasonMap 基准,利用 30 个城市的高分辨率公交地图构建 1,008 个 QA 对,通过两级评估框架(正确性+质量)系统评估 16 个 MLLM 的细粒度视觉推理能力,发现开源模型中 base 优于 reasoning 而闭源模型相反。
- ReBaPL: Repulsive Bayesian Prompt Learning
-
ReBaPL 把 CLIP 的 prompt 学习从"找一个最优解"改成"用循环式 SGHMC 从后验里采一组多样的好 prompt",并在表征空间用 MMD/Wasserstein 度量加一个"排斥力"防止采样塌缩到单一模式,从而以即插即用的方式给任意 MLE prompt 学习方法(MaPLe、MMRL)加上贝叶斯外壳,显著改善 base-to-novel、跨数据集与域泛化。
- ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval
-
揭示了将生成式MLLM适配为判别式检索器时的"能力退化"现象(Capability Degradation),提出ReCALL框架通过诊断检索器盲点→利用基座MLLM的CoT推理生成纠正性三元组→分组对比精炼三阶段管线,有效恢复退化的细粒度组合推理能力,在CIRR上R@1达55.52%、FashionIQ上R@10达57.04%。
- Reconstructing CLIP for Open-Vocabulary Dense Perception
-
DenseRC 针对"如何为 CLIP 构建好的密集特征"这一被忽视的问题,揭示 cls token 的泛化语义其实来自多层 value embedding、而空间聚合会放大语义错位,于是用多层 value 作基底、配一个轻量的头选择门控(HSG)只在 head 维重加权,造出与全局语义对齐的密集表示,在开放词汇检测和分割多个基准上刷新 SOTA。
- Reevaluating the Intra-Modal Misalignment Hypothesis in CLIP
-
这篇论文系统反驳了"CLIP 图像嵌入存在内模态错位(intra-modal misalignment)"这一流行假设:从理论上证明图-图相似度其实被图-文相似度完全决定、并无自由度,从实证上用 DINO/SigLIP2 等非 CLIP 模型复现了所谓"错位指标",说明这些指标是度量本身的产物而非 CLIP 训练目标的缺陷,最后用一个极简的 PCA 投影方法在检索和小样本分类上超过了那些"为修正错位而设计"的方法。
- Relational Visual Similarity
-
本文首次形式化定义关系视觉相似度问题(两图像间的内在关系/功能对应,而非表面属性相似),构建114K匿名描述数据集并训练relsim模型,揭示了现有相似度指标(CLIP/DINO等)在捕捉关系相似度方面的根本性缺陷。
- ReMatch: Boosting Representation through Matching for Multimodal Retrieval
-
ReMatch 把多模态大模型(MLLM)当 embedding 模型微调时,额外挂上一个「聊天式 Yes/No 匹配」任务和「多可学习 token」表示,让生成能力反过来给检索 embedding 提供逐样本判别信号,在 MMEB 上刷新 SOTA,且推理几乎不增加成本。
- ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video Understanding
-
提出 ReMoRa,直接操作视频压缩表示(I帧 + 运动向量),通过 Refined Motion Representation (RMR) 模块将粗糙的块级运动向量精化为接近光流的细粒度运动表征,再用 Hierarchical Motion State Space (HMSS) 模块进行线性时间的长程时间建模,在 LongVideoBench、NExT-QA、MLVU 等基准上超越基线。
- RetFormer: Multimodal Retrieval for Enhancing Image Recognition
-
RetFormer 把世界知识从"压进模型权重"改为"存进外部图文知识库",对查询图像做 k-NN 检索后用一个图文交叉融合注意力模块计算每个邻居的贡献,再和主干分支融合输出 logits,在长尾识别和噪声标签学习上把 ImageNet-LT 整体精度从 78.3% 提到 81.9%。
- Rethinking Cross-Modal Anchor Alignment for Mitigating Error Accumulation
-
针对图文检索中"噪声对应学习"长期被忽视的一个误差来源——干净锚点对自身也存在跨模态不一致(anchor correlation discrepancy),本文用傅里叶变换在频域对齐锚点表示、再据此做几何感知的软标签校正,并配一个语义约束三元组损失来抑制误差累积,在三个数据集上一致刷新检索精度。
- Rethinking MLLM Itself as a Segmenter with a Single Segmentation Token
-
提出 SELF1E,首次实现不依赖专用 mask 解码器且仅用单个 [SEG] token 的 MLLM 分割方法,通过 Residual Features Refilling (RFR) 和 Residual Features Amplifier (RFA) 恢复 pixel-shuffle 压缩造成的分辨率损失,在多个分割任务上达到与解码器方法竞争力相当的性能。
- Rethinking Model Selection in VLM Through the Lens of Gromov-Wasserstein Distance
-
针对「该给 VLM 选哪个视觉编码器」这个老大难问题,本文系统验证了「选最大/zero-shot 精度最高」的传统直觉几乎与最终 VLM 性能不相关,转而提出用 Gromov-Wasserstein(GW)距离 度量视觉表征与 LLM 文本表征之间的「结构相似性」,作为一个免训练、纯推理的代理指标;理论上证明 GW 距离能 bound 跨模态投影器的 Lipschitz 常数(即可学习性),实验上在 60+ 次完整 VLM 训练中比所有基线指标都更强地相关于最终性能,从而能在完整训练前 1 分钟级别地预测哪个编码器最优。
- Rethinking VLMs for Image Forgery Detection and Localization
-
提出 IFDL-VLM 框架,发现 VLM 固有的语义合理性偏向(而非真实性)会阻碍伪造检测性能,因此将检测/定位与语言解释解耦为两阶段优化,并利用定位掩码作为 VLM 的辅助输入增强可解释性,在 9 个基准上全面达到 SOTA。
- Reversing the Flow: Generation-to-Understanding Synergy in Large Multimodal Models
-
本文反转了统一多模态模型里"理解→生成"的单向流,提出"生成→理解"(G→U)协同:让模型先用自身生成能力对输入图像做受控编辑(去模糊 / 外扩 / 换视角等)造出一张"视觉思维"图,再把它喂回模型辅助作答;在 12 个 benchmark 上零训练、零外部工具地稳定提升了多模态理解,并揭示生成保真度是理解增益的上界、模型"能想象却不知道该想象什么"。
- Revisiting Model Stitching in the Foundation Model Era
-
本文系统研究视觉基础模型(VFM)之间的拼接可行性,发现传统方法在VFM上失效,提出"Final Feature Matching + Task Loss"两阶段训练策略使异构VFM可靠拼接,拼接模型甚至能超越两个单独VFM,进而提出VFM Stitch Tree(VST)架构为多VFM系统提供可控的精度-效率权衡方案。
- Revisiting Visual Corruptions in LVLMs: A Shape-Texture Perspective on Model Failures
-
本文从"损坏类型异质性"出发,发现图像损坏会沿形状和纹理两个互补维度破坏 LVLM 感知并诱发两种相反的误判模式,据此提出训练无关的双路对比解码 ST-CD——用边缘图和拼图图作探针放大各自的偏差、再按熵自适应融合校正信号,在多个 LVLM 和鲁棒性基准上一致提升了对异质损坏的鲁棒性。
- REVISOR: Beyond Textual Reflection, Towards Multimodal Introspective Reasoning in Long-Form Video Understanding
-
REVISOR 把"文字反思"升级成"视觉反思"——让多模态大模型在初次推理后自己提议一段值得复看的视频区间、调用工具去密集重采样这段画面,再带着新画面二次推理;配合 DADR 双归因解耦奖励逼模型选对片段,在 VideoMME / LongVideoBench / MLVU / LVBench 上把 Qwen2.5-VL-7B 平均提升约 2%。
- RMIR: A Benchmark Dataset for Reasoning-Intensive Multimodal Image Retrieval
-
RMIR 提出一个"看图+读文需要 1-2 步逻辑推理才能找到答案图"的多模态图像检索基准(1,634 条测试查询,覆盖功能/时间/因果三类推理),并配套一条全自动、可扩展的数据生成流水线;评测显示最强模型也只有 46.53% 的 R@20,且带显式推理的生成式 embedding 远胜判别式编码器。
- RNED: Rotary Number Encoding and Decoding for Medical VLMs
-
针对医学 VLM 在「数值预测」上的硬伤,本文提出 RNED:编码端仿照 RoPE 用一个「值相关的旋转矩阵」把标量旋进一个专用
[NUM]token(保范数、保序、宽量程),解码端用 score-matching 从隐状态里查回连续数值,在放射学测量估计和医学视觉定位两个任务上稳定超过现有 VLM 基线。 - Role-SynthCLIP: A Role-Play Driven Diverse Synthetic Data Approach
-
用「多专家角色扮演提示」驱动 MLLM 从构图、叙事、情感等不同认知视角为同一张图生成多条互补 caption,再用蒸馏出的角色感知过滤器去噪,只用 1M 张图就把 CLIP-B/16 在 MS-COCO 的 Recall@1 推到 64.1%,反超用了 5M 对的最强合成数据基线。
- ROSE: Rotate Your Large Language Model to See
-
本文不再把视觉特征拼成 token 塞进 LLM 输入(导致序列暴长、二次复杂度、还冲淡语言先验),而是把视觉语义编码成正交旋转矩阵直接左乘到 LLM 的预训练权重上——既避开了上下文扩展、又因正交性保住了参数间的角度结构(即语言先验),由此造出 7B 的 ROSE:在 12 个多模态 benchmark 上与 Qwen2.5-VL-7B 相当,却把 FLOPs 砍掉 80.7%、推理延迟降 56.4%。
- Rosetta Stone for Unified MLLMs: A Unified Tokenizer to Decipher Understanding and Generation
-
针对"统一视觉 tokenizer 中重建任务和语义任务相互打架"这个老大难,作者用单编码器层级解耦(浅层做像素重建、深层做语义对齐)+ CLIP/DINOv2/SAM 多基础模型监督 + 注意力优先映射的双 codebook + 语义收敛后的由粗到细重建,在 ImageNet 上做到 rFID 0.33、零样本精度 80.9%,并用它驱动的 7B 统一 MLLM 在理解上反超 TokenFlow-13B 3.1%。
- RxnCaption: Reformulating Reaction Diagram Parsing as Visual Prompt Guided Captioning
-
RxnCaption 把"化学反应图解析(RxnDP)"从让大模型预测分子坐标框,重构成让大模型"看图说话"——先用专门训练的分子检测器 MolYOLO 在图上预先画好分子框和序号,再让 LVLM 只需用自然语言引用这些序号来描述反应,配合自建的 U-RxnDiagram-15k 真实数据集,在多项指标上刷到 SOTA。
- SALMUBench: A Benchmark for Sensitive Association-Level Multimodal Unlearning
-
提出 SALMUBench——首个针对 CLIP 类模型的关联级别机器遗忘基准,包含 60K 合成人物-敏感属性配对数据集、从头训练的 Compromised/Clean 模型对,以及结构化 holdout 集评估协议,首次系统揭示了现有遗忘方法的三种失败模式(灾难性破坏、过度泛化遗忘、无效遗忘)。
- Same Content, Different Answers: Cross-Modal Inconsistency in MLLMs
-
作者提出 REST / REST+ 两个 benchmark,把同一道题分别以「纯文本 / 纯图像(渲染成图)/ 图文混合」三种形态喂给 MLLM,并在严格控制 OCR 正确的前提下度量「同样的内容、不同的答案」这一跨模态不一致现象——评测 15 个前沿 MLLM 发现没有一个能在三种模态上稳定一致(不一致率至少 ~10%,最差超 80%),且模型普遍更偏好文本模态,而这种不一致与模型内部图文表征的余弦相似度(模态鸿沟)显著相关。
- Same or Not? Enhancing Visual Perception in Vision-Language Models
-
作者把"细粒度视觉感知"重新定义成一个最简单的二选一任务——给两张相似图片,判断它们是不是同一个物体实例,据此构建了 561K 对的 TWIN 数据集,用 GRPO 强化学习在上面后训练 VLM,让 Qwen2.5-VL 在自建的 FGVQA 基准上最高涨 19.3%,且不损伤通用 VQA 能力。
- Scaling Spatial Intelligence with Multimodal Foundation Models
-
SenseNova-SI 通过系统化构建800万级多样化空间数据(SenseNova-SI-8M),在 Qwen3-VL、InternVL3 和 Bagel 等多模态基础模型上培养空间智能能力,在 VSI-Bench、MMSI 等多个空间基准上取得前所未有的性能,同时保持通用多模态理解能力。
- Scaling Test-Time Robustness of Vision-Language Models via Self-Critical Inference Framework
-
提出 Self-Critical Inference (SCI) 框架,通过多轮文本+视觉反事实推理的 logit 聚合来同时解决 LVLM 的语言偏差和语言敏感性问题,并提出 DRBench 动态鲁棒性基准来模型特异地评估鲁棒性。增加反事实推理轮次可持续提升鲁棒性,开辟了测试时缩放的新方向。
- Scaling the Long Video Understanding of Multimodal Large Language Models via Visual Memory Mechanism
-
提出 FlexMem——一种训练免的视觉记忆机制,通过迭代式双路径 KV 缓存压缩构建视觉记忆库,结合编码式和快速索引式记忆召回策略,让 MLLM 在单张 3090 GPU 上处理 1000+ 帧长视频,大幅超越现有高效视频理解方法。
- Scene-VLM: Multimodal Video Scene Segmentation via Vision-Language Models
-
提出 Scene-VLM——首个基于微调 VLM 的视频场景分割框架,通过结构化多模态镜头表征(视觉帧+对白+元数据)、因果序列预测、上下文-焦点窗口机制和 token logits 置信度提取,在 MovieNet 上取得 +6 AP 和 +13.7 F1 的大幅提升,并展示了自然语言解释能力。
- SEA: Evaluating Sketch Abstraction Efficiency via Element-level Commonsense Visual Question Answering
-
针对「草图好不好」没有合适指标的问题,本文提出无参考指标 SEA——把「识别概率 P、类别常识元素总数 E、草图实际画出的元素数 V」三个信号组合成奖励-惩罚式分数,专门衡量草图「用尽量少的笔画保留可识别性」的抽象效率,并配套发布首个带元素级标注的草图数据集 CommonSketch(300 类、23,100 张人工草图),实验证明 SEA 与人类判断高度一致(一致率约 88%)。
- SEATrack: Simple, Efficient, and Adaptive Multimodal Tracker
-
提出 SEATrack 多模态跟踪器,通过 AMG-LoRA 实现跨模态注意力图的动态对齐,以及 HMoE 实现高效全局关系建模的跨模态融合,在 RGB-T/D/E 跟踪中以极少参数实现 SOTA 的性能-效率平衡。
- SeD-UD: An Influence-Driven and Hierarchically-Decoupled Information Bottleneck for Multimodal Intent Recognition
-
针对多模态意图识别中文本/语音/视觉特征里冗余与噪声并存的问题,SeD-UD 提出一个由「影响因子」驱动、能按样本动态调整瓶颈维度的信息瓶颈模块 IDAB,并把「去冗余」和「去噪」拆成分层解耦的两步——先在各单模态内并行去冗余、融合后再统一去噪,在 MIntRec、MELD-DA、CH-SIMS 上超过现有 SOTA。
- See and Fix the Flaws: Enabling VLMs and Diffusion Models to Comprehend Visual Artifacts via Agentic Data Synthesis
-
针对"现代扩散模型生成的结构性瑕疵难以人工标注、VLM 又看不懂"的双重困境,本文提出 ArtiAgent——一个由感知/合成/校验三智能体组成的全自动流水线,通过在 DiT 自注意力里操纵位置嵌入(PE)+ 值嵌入把可信瑕疵注入真实图像,零人工合成 10 万张带框带解释的瑕疵数据,用它微调的开源 VLM 在检测/定位/解释三任务上反超 GPT-5。
- See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection
-
ForeSight 给 VLM 配上一套低层视觉工具(Canny / 缩放 / 调色)和一个基于掩码的视觉反思机制,用 GRPO 强化学习让 7B 模型在推理时自主决定"何时调工具、要不要推翻初稿答案",在自建的 Odd-One-Out 显著性定位基准 CG-SalBench 上把 IoU 从 32.56% 拉到 62.24%,逼近 72B 模型。
- See Less, See Right: Bi-directional Perceptual Shaping For Multimodal Reasoning
-
BiPS 把"该看哪里"的视觉线索从推理期的工具/隐 token 搬到训练期,用一对 KL 约束(向"只留证据"的图靠拢、和"抹掉证据"的图拉开)在 GRPO 框架里塑造 VLM 的感知策略,仅用 13K 图表样本就让 Qwen2.5-VL-7B 在八个 benchmark 上平均涨 7.3%(加 39K 数学数据涨到 8.2%),且推理期零额外开销。
- See, Think, Act: Teaching Multimodal Agents to Effectively Interact with GUI by Identifying Toggles
-
提出 State-aware Reasoning (StaR),通过教会多模态 Agent "感知当前状态→分析目标状态→决定是否操作"的三步推理链,将 GUI 开关控制准确率提升超 30%,同时不损害通用 Agent 任务性能。
- See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding
-
SWIM 是一种训练策略:只在训练阶段用对象掩码去监督 MLLM 中「对象名词 token → 视觉 token」的跨注意力,让模型学会从纯文本提示里精确定位用户指定物体,推理时不再需要任何点 / 框 / 掩码等视觉提示,在视频细粒度理解 benchmark 上反超依赖视觉提示的专家模型。
- Seeing Clearly, Reasoning Confidently: Plug-and-Play Remedies for Vision Language Model Blindness
-
提出一种高效的即插即用模块,通过学习多模态类嵌入来增强 VLM 对稀有物体的识别和推理能力:在视觉端用 cross-attention 适配器精化视觉 token,在文本端注入物体检测提示,无需微调 VLM 即可在 CODA-LM 上获得 72.8→75.4 的显著提升。
- Seeing Through Touch: Tactile-Driven Visual Localization of Material Regions
-
提出触觉定位任务——给定触觉输入识别图像中具有相同材质属性的区域,通过局部视觉-触觉对齐和材质多样性配对策略学习密集跨模态特征,构建两个新的触觉-材质分割数据集。
- Select Less, Reason More: Prioritizing Evidence Purity for Video Reasoning
-
针对长视频里"均匀采样把关键证据稀释、现有帧选择又没有纯度奖励"的问题,本文提出 EARL(证据感知强化学习),让 Video LLM 边推理边主动选关键帧、再在关键帧附近做局部重采样补细粒度时序,并用基于 IoU 的多分量奖励逼着模型"少选精选",7B 模型在 LongVideoBench/MVBench/VideoMME 上分别拿到 59.8% / 69.0% / 64.9%,刷新开源 Video LLM 的 SOTA。
- Self-Consistency for LLM-Based Motion Trajectory Generation and Verification
-
将 LLM 的自一致性范式从自然语言推理扩展到视觉域——用 Lie 变换群层次结构定义运动轨迹的形状族,通过在变换不变距离度量下聚类 LLM 采样的多条轨迹,实现无监督的轨迹生成改进(+4-6%)和验证(精度+11.8%),无需训练。
- Self-guided Semantic Inspection for Zero-Shot Composed Image Retrieval
-
针对零样本组合图像检索(ZS-CIR)训练用"对齐图文对"、推理却要处理"不对齐的参考图+修改文本"的训练-推理失配问题,本文提出 DiffComp,用"先制造差异再融合"(Differentiate-then-Compose)的自监督范式,在训练阶段主动 mask 掉与文本短语对齐的视觉区域来人为引入跨模态差异,再做差异感知的自适应融合,在四个 ZS-CIR benchmark 上刷到 SOTA。
- Similarity-as-Evidence: Calibrating Overconfident VLMs for Interpretable and Label-Efficient Medical Active Learning
-
提出 Similarity-as-Evidence (SaE) 框架,将 VLM 的文本-图像相似度重新解释为 Dirichlet 证据,通过 Similarity Evidence Head (SEH) 校准过度自信的 softmax 输出,并基于 vacuity(知识空缺)和 dissonance(证据冲突)的双因子采集策略实现可解释、高效的医学主动学习,在 10 个数据集上以 20% 标注预算达到 82.57% 的 SOTA 宏平均准确率。
- SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models
-
SIMPACT 提出一种测试时的仿真增强动作规划框架,从单张 RGB-D 图像自动构建物理仿真环境,使 VLM 能够提出动作、观察仿真结果并迭代优化推理,无需额外训练即可在刚体和可变形物体操作任务上达到 SOTA 性能。
- SketchVL: Policy Optimization via Fine-Grained Credit Assignment for Chart Understanding and More
-
SketchVL 让 MLLM 把每一步图表推理"画"成图像上的标注动作(框/线/点/圈),再用新提出的 FinePO 算法把整条轨迹的粗粒度优势,按一个过程奖励模型 FinePRM 给每个动作打的分重新分配到每一步,从而做到 step 级的细粒度信用分配,在图表/自然图像/数学多类基准上平均比基座模型提升 7.23%。
- SldprtNet: A Large-Scale Multimodal Dataset for CAD Generation in Language-Driven 3D Design
-
构建了包含 242,000+ 工业零件的大规模多模态 CAD 数据集 SldprtNet,每个样本包含 .sldprt/.step 3D 模型、七视图合成图像、参数化建模脚本和自然语言描述四种模态的完整对齐数据,配套开发支持 13 种 CAD 命令的无损编码器/解码器工具,baseline 实验验证了多模态输入相比纯文本输入在 CAD 生成任务上的显著优势。
- Small Object, Great Challenge: A Benchmark for Small Object Visual Grounding
-
针对现有视觉定位(VG)基准只标大目标的偏差,本文用 MLLM 自动流水线在 COCO 上构建了平均目标面积仅占全图 1.60% 的 RefCOCOs 基准(32 万条指代表达),并提出带分层文本注入(HTI)模块的强基线 SoVG-Net,在小目标定位/分割上 Acc@0.5 与 mIoU 全面领先。
- SMAP: Semantic Route Planning with Map-Grounded Multimodal Alignment
-
SMAP 把用户查询、POI 结构化元数据和一张「只标候选 POI 的正北朝上地图瓦片」一起喂给多模态大模型来做语义路线规划,并用「生成器画草稿、验证器照地图改错」自动造出偏好对,再用幻觉惩罚版 DPO(HDPO)训练,把一个 32B 开源模型在路线效率、时序合理性和整体质量上拉到与 GPT-5 持平甚至反超。
- SMoES: Soft Modality-Guided Expert Specialization in MoE-VLMs
-
针对 MoE-VLM 里"该不该、怎么让专家按模态专精"这个被忽视的问题,本文提出 SMoES:用随层动态变化的软模态分数刻画 token 的真实视觉/文本融合程度,把专家分箱(bin)成对齐部署设备的组,再用箱间互信息正则驱动各箱专精到不同模态——在 4 个 MoE-VLM、16 个 benchmark 上多模态/纯语言任务平均涨 0.9%/4.2%,同时把专家并行通信开销砍掉 56.1%、吞吐提升 12.3%。
- SO-Bench: A Structural Output Evaluation of Multimodal LLM
-
这是 Apple 提出的首个系统评测「多模态大模型把视觉输入转成符合预定义 JSON Schema 的结构化输出」能力的 benchmark——SO-Bench 用一条三阶段自动标注管线,从 11.2 万张四领域图像、6.5K 个 JSON Schema 中构造了 1.8K 个「图像–Schema–指令」三元组,配套三级评测指标,揭示了即便最强的 Gemini-2.5-Pro 完全正确率也只有 18.9% 的巨大差距。
- SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning
-
针对 CLIP 测试时提示调优(TPT)中"为提升类别可分性而强加完全正交约束反而让模型过度自信、校准变差"的问题,本文用一个 Huber 形式的平滑正交正则(SoC) 替代硬正交约束——对语义相近的类别原型只施加有上限的温和排斥,从而在几乎不损失分类精度的前提下把校准误差 ECE 显著压低。
- Socratic-Geo: Synthetic Data Generation and Cross-Modal Geometric Reasoning via Multi-Agent Interaction
-
Socratic-Geo 用「教师—解题者—生成器」三智能体闭环,从仅 108 道种子题出发、由教师诊断解题者失败后用 Python 代码程序化地改造几何图并自我验证,造出图文严格对齐的几何题课程:解题者用 1/4 数据在六个几何 benchmark 上拿到 49.11%(比最强 baseline 高 2.43 分),副产物图像生成器在 GenExam-Math 上达 42.4 分、刷新开源 SOTA。
- Soft Modality-Guided Expert Specialization in MoE-VLMs
-
针对 MoE-VLM 里"视觉/文本 token 该如何引导专家路由"这个被忽视的问题,本文提出 SMoES:用随层变化的"软模态分数"代替硬模态标签、把专家分成若干 bin、再用互信息正则把 bin 推向模态特化,从而在四个 MoE 骨干、16 个 benchmark 上同时拿到精度提升(多模态 +0.9%、纯语言 +4.2%)和部署效率提升(专家并行通信开销降 56.1%、吞吐 +12.3%)。
- SoPE: Spherical Coordinate-Based Positional Embedding for 3D LVLMs
-
揭示 RoPE 在 3D LVLM 中的空间感知偏差问题(1D 索引破坏 3D 局部性且忽视方向),提出球面坐标位置编码 SoPE(\((t,r,\theta,\phi)\) 四维索引 + 多维频率分配 + 多尺度混合),在 SpatialLM 上实现 3D 布局估计和物体检测 SOTA。
- SOTA: Self-adaptive Optimal Transport for Zero-Shot Classification with Multiple Foundation Models
-
SOTA 把每个基础模型(CLIP 这类 VLM、DINO 这类 VFM)的分类输出都转成一张代价矩阵,再用一个"平方内积"目标的自适应最优传输求一个软分配 transport plan,免训练、免先验地自动平衡各模型贡献,在自然/遥感/医学三大域 26 个 benchmark 上比最强单模型大幅涨点。
- SpaceTools: Tool-Augmented Spatial Reasoning via Double Interactive RL
-
本文提出 DIRL(双交互式强化学习)——先用"单工具专家 IRL 教师 + 前沿模型全工具教师"混合数据做 SFT 打底,再用全工具集做第二轮交互式 RL 精修——把一个 3B 的 Qwen2.5-VL 训练成会自主调度十余种视觉/机器人工具的空间推理智能体 SpaceTools,在 RoboSpatial、BLINK、BOP-ASK 等基准上全面 SOTA,并能把真实 7-DOF 机械臂当作工具完成抓取放置(86% 成功率)。
- SPARROW: Learning Spatial Precision and Temporal Referential Consistency in Pixel-Grounded Video MLLMs
-
提出 SPARROW 框架,通过 目标特定追踪特征(TSF) 注入时间一致性监督、双提示([BOX]+[SEG])粗到细解码 稳定首帧初始化,以即插即用方式集成到现有视频 MLLM 上,在 6 个基准 3 个任务上取得一致提升。
- Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models
-
针对掩码离散扩散模型(MDM)每步都要把上千个冗余掩码 token 全部喂进网络、且无法用 KV 缓存的两大效率瓶颈,Sparse-LaViDa 提出一种"稀疏参数化 + register token + step-causal 注意力掩码"的等价改造,在不破坏 MDM 双向上下文的前提下,让模型每步只处理"该解码的那一小撮 token",在文生图、图像编辑、视觉数学推理上拿到最高 ~2.8× 的加速且画质/精度基本不掉。
- Sparse Spectral LoRA: Routed Experts for Medical VLMs
-
本文提出 MedQwen,把预训练权重的 SVD 谱段切成互不重叠的专家、用 top-k 路由按输入选谱先验,再配一套有理论依据的残差补偿与缩放规则把低秩 MoE 的训练动力学对齐到全秩全量微调,在 23 个医学数据集上逼近全量微调(参数少 339×),并把序列训练的灾难性遗忘从 >20–50% 压到约 5%。
- SpatiaLQA: A Benchmark for Evaluating Spatial Logical Reasoning in Vision-Language Models
-
提出SpatiaLQA基准(9605个QA对、241个真实室内场景),系统评估41个VLM在空间逻辑推理上的表现,并设计递归场景图辅助推理方法来提升VLM的空间逻辑推理能力。
- SpatialScore: Towards Comprehensive Evaluation for Spatial Intelligence
-
本文提出了目前最全面的多模态空间智能基准 SpatialScore(5K样本/30任务),并通过数据驱动的 SpatialCorpus(331K QA)微调方案和免训练的 SpatialAgent(12个工具)两条互补路径来提升 MLLM 的空间理解能力。
- SpatialStack: Layered Geometry-Language Fusion for 3D VLM Spatial Reasoning
-
提出SpatialStack框架,将多视图几何编码器(VGGT)的多层级几何特征逐层注入LLM解码器的不同层(而非仅融合最后一层),通过浅层→细粒度空间感知、深层→高层语义推理的层级对齐,在多个3D空间推理基准上达到开源SOTA。
- SpatialTree: How Spatial Intelligence Branches Out in MLLMs
-
受认知科学启发,把多模态大模型(MLLM)的空间智能拆成"感知→建图→模拟→执行"四层 27 项原子能力,建成首个"以能力为中心"的分层基准 SpatialTree-Bench,并用 SFT/RL 干预实验揭示:低层能力彼此独立但能向高层强迁移,且过度"思考"会损害直觉感知——为此提出 auto-think 策略让 RL 在全层级稳定提升。
- SPOT: Spatiotemporal Prompt Optimization for Motion-Stabilized MLLM-Guided Video Segmentation
-
SPOT 不给 MLLM 做视频预训练、也不改 SAM 架构,只通过两个损失约束图像预训练 MLLM 输出的「提示点」轨迹——用布朗桥损失逼时序平滑、用提示质量损失逼空间贴合——就让级联式「MLLM 出 prompt + SAM 出 mask」的视频分割在六个 benchmark 上全面超越 SOTA。
- Spot The Ball: A Benchmark for Visual Social Inference
-
这篇论文提出 SPOT THE BALL 基准:从「抹掉球的体育画面」里让人和 VLM 反推球的位置,发现人类靠球员的注视与姿态等社会线索推理、准确率是模型的 2–3 倍,而四个主流 VLM 只会用「猜中心 / 猜球员附近」的肤浅空间启发式,揭示出当前 VLM 在视觉社会推理上的系统性短板。
- Stable and Efficient Single-Rollout RL for Multimodal Reasoning
-
针对多模态 RLVR 中 GRPO 多 rollout 太贵、而单 rollout 又会熵塌缩崩溃的两难,本文提出 MSSR——用 Beta 共轭基线替代分组归一化、再叠加一个"基于熵的优势塑形"机制稳住训练,做到每个样本只采一条轨迹,却能用一半训练步数追平 GRPO,并在 5 个基准上平均超过它 2 个多点。
- StaR-KVQA: Structured Reasoning Traces for Implicit-Knowledge Visual Question Answering
-
StaR-KVQA 用同一个开源 MLLM 自己造出「双路符号关系路径 + 路径锚定的自然语言解释」作为结构化推理轨迹,把只监督答案的微调换成监督「推理轨迹 + 答案」的结构感知自蒸馏,在不接任何外部检索的前提下让 OK-VQA 准确率比最强基线高出 +11.3%,同时输出可审计的中间推理。
- STAR-R1: Multi-View Spatial TrAnsformation Reasoning by Reinforcing Multimodal LLMs
-
STAR-R1 用"过程监督 SFT 冷启动 + 指代感知 RL"两阶段训练 Qwen2.5-VL-7B,让模型像人一样先锚定关键参照物、再跨视角对齐重建场景,从而在 TVR、MMSI-Bench、MindCube-Tiny、SPAR-Bench 等多视角空间理解基准上全面超越开源乃至部分闭源模型。
- STAR: Test-Time Adaptation Can Enhance Universal Prompt Learning for Vision-Language Models
-
STAR 让已经做过 few-shot prompt tuning 的 CLIP 在推理阶段继续用无标签测试流(混着 ID 和 OOD 样本)自我适应:先用 Fisher score 自适应地软门控分开 ID/OOD,再用共轭优化生成可靠伪标签做无监督微调,最后用动态原型库做按类校准的 OOD 检测——在 ImageNet-1K 上把 LoCoOp/SCT 的 FPR95 大幅压低。
- STiTch: Semantic Transition and Transportation in Collaboration for Training-Free Zero-Shot Composed Image Retrieval
-
STiTch 是一个免训练的零样本组合图像检索(ZS-CIR)框架:先让 MLLM 采样出多条目标描述(视为离散分布),再用文本修改语在嵌入空间构造一个"迁移向量"把这些描述往目标图像方向纠偏、滤掉参考图带来的噪声,最后把"描述集合 vs 目标图像增强集合"建模成集合对集合的双向传输(CT)距离来算检索分,在 CIRCO / CIRR / FashionIQ / GeneCIS 四个基准上免训练方法里整体最优。
- Streaming Video Instruction Tuning (Streamo)
-
Streamo 把"何时该开口说话"这件事直接做进视频大模型的 next-token 预测里——用三个状态 token(Silence/Standby/Response)让模型逐帧自己判断响应时机,再配一份 46.5 万条多任务流式指令数据集端到端训练,把离线视频模型一键改造成能实时旁白、定位、问答的在线助手,OVO-Bench 上比此前 SOTA Dispider 高 13.83%。
- Structural Graph Probing of Vision-Language Models
-
这篇论文把视觉-语言模型每一层的神经元两两相关性建成一张"相关图",用 GCN 图探针证明这种群体级拓扑结构能预测模型行为、刻画跨模态融合随深度的演化、并定位出扰动后会显著改变输出的"枢纽神经元",从而提出一个介于"局部归因"和"完整电路恢复"之间的全新可解释性中间尺度。
- StructXLIP: Enhancing Vision-Language Models with Multimodal Structural Cues
-
StructXLIP 将边缘图(edge map)作为视觉结构的代理表示,在 CLIP 微调中引入三种结构中心损失(边缘-结构文本对齐 + 局部区域-文本块匹配 + 边缘-彩色图连接),通过最大化多模态结构表示的互信息引导模型走向更鲁棒的语义稳定最优解,在跨模态检索任务上超越现有竞争者。
- SVHalluc: Benchmarking Speech-Vision Hallucination in Audio-Visual Large Language Models
-
SVHalluc 是首个系统评测「视听大模型能否把语音内容与对应视觉信号对齐」的 benchmark,从语义和时序两个维度各设计 3 个由粗到细的任务(共 6 个、2405 条样本),实验揭示当前开源视听 LLM 在多数任务上接近随机猜测,而 Gemini 2.5 Pro 大幅领先——根因不是单模态感知差,而是跨模态整合能力缺失。
- SynCLIP: Synonym-Coherent Language-Image Pretraining for Robust Open-Vocabulary Dense Perception
-
SynCLIP 发现现有 CLIP 类开放词汇密集感知方法存在「同义词导致的定位不一致」——同一物体换个近义说法,空间注意力就会漂移;它用一个「同义词→原标签」的空间注意力对齐损失(SSA)加上借助 DINOv2 做语义 token 选择与上下文聚合的注意力精修(SAR),在 OV-COCO/OV-LVIS 上既刷到 CLIP 类 SOTA,又把换近义词时的掉点从 ~9 AP 压到 4.4 AP。
- Synthesizing Visual Concepts as Vision-Language Programs
-
把 VLM 当成"感知函数"而不是"推理器"——让它从图像里抽出结构化符号描述,再用程序合成在一套领域专用语言上搜出一段可执行的逻辑程序来表达视觉规则,从而在归纳视觉推理任务上稳定超过直接 prompt VLM,且程序天然可解释、可人工修正。
- TableMix: Enhancing Multimodal Table Reasoning in MLLMs from a Data-Centric Perspective
-
针对多模态大模型(MLLM)做表格推理时反而打不过纯文本模型的反常现象,TableMix 从数据角度切入:在每个训练 batch 里同时混入「多模态表格推理 + 纯文本数学推理 + 简单表格感知」三类数据,来同时修复被对齐预训练削弱的推理力、保住视觉感知力,再配一个按难度调奖励的 DRS 机制,最终在 7 个表格基准上既碾压多模态基线、也追平甚至超过最强纯文本方法 Table-R1。
- TANGO: Text-Anchored Guided Optimization for Robust Fine-tuning Vision-Language Models under Label Noise
-
TANGO 把 CLIP 文本编码器生成的一组「干净且不可变的语义锚点」当作独立于训练标签的真值参考,既用它取代易被噪声污染的线性分类头(参数化变成检索式投票),又用它去校验/纠正噪声样本,在六个含噪基准上刷新 SOTA(CIFAR-100N 上 83.83%,比强基线 DeFT 高 4.79%)。
- Taxonomy-Aware Representation Alignment for Hierarchical Visual Recognition with Large Multimodal Models
-
提出TARA框架,通过将LMM的中间表示与生物基础模型(BFM)的分类学感知特征对齐,为大型多模态模型注入分类层次知识,显著提升已知和新颖类别的层次化视觉识别性能。
- TempR1: Improving Temporal Understanding of MLLMs via Temporal-Aware Multi-Task Reinforcement Learning
-
TempR1 把五种视频时序任务(时序定位 TG、稠密定位 DTG、动作定位 TAL、亮点检测 VHD、有依据视频问答 GVQA)统一进一个基于 GRPO 的多任务强化学习框架,关键在于按"预测区间 ↔ 真值实例"的三种对应关系(一对一/多对一/多对多)分别设计定位奖励,在五个 benchmark 上全面刷新 SOTA,且多任务联合训练对单任务也产生正向协同。
- TerraScope: Pixel-Grounded Visual Reasoning for Earth Observation
-
TerraScope 让遥感 VLM 在推理的每一步都生成分割掩码、并把被掩码区域的视觉特征回注到推理链里("用像素思考"),配套 100 万条带像素掩码的 CoT 数据集 Terra-CoT 和首个评估"答案+掩码质量"双指标的 TerraScope-Bench,在地表覆盖率估计、面积排序、变化检测等细粒度地理空间任务上大幅超过现有 VLM。
- Test-Time Distillation for Continual Model Adaptation
-
针对持续测试时自适应(CTTA)中"模型用自己预测当监督、错误越滚越大"的痛点,本文提出用一个冻结的 CLIP 当外部教师来打破这个自指反馈环(称为 Test-Time Distillation, TTD),并设计 CoDiRe 框架——用基于 MSP 置信度的混合教师 + 最优传输矫正——在 ImageNet-C 上比 CoTTA 高 10.55% 且只花它 48% 的时间。
- Text-Only Training for Image Captioning with Retrieval Augmentation and Modality Gap Correction
-
提出TOMCap——一种纯文本训练的图像描述方法,通过检索增强+模态差距修正+LoRA微调,在训练时只用文本而推理时处理图像,超越了已有的无训练和纯文本方法。
- Text-Printed Image:把文本「印」成图片来弥合图文模态鸿沟
-
为了在没有真实图片、只有文本描述的情况下微调大视觉语言模型(LVLM),本文提出 Text-Printed Image(TPI)——把文本描述直接渲染到一张纯白画布上当作图像输入,让文本经过视觉编码器进入模型,从而既弥合图文模态鸿沟、又完整保留文本语义,在 4 个模型、7 个 benchmark 上一致优于「纯文本」和「扩散模型生成图像(T2I)」两类基线。
- The Coherence Trap: When MLLM-Crafted Narratives Exploit Manipulated Visual Contexts
-
揭示现有多模态篡改检测忽视了MLLM能生成语义一致的欺骗性叙事这一核心威胁,构建441k样本的MDSM语义对齐篡改数据集,并提出基于Artifact Token和操纵导向推理的AMD框架,在跨域检测中以仅0.27B参数达到88.18 ACC / 60.25 mAP / 61.02 mIoU的最优泛化性能。
- The LLM Bottleneck: Why Open-Source Vision LLMs Struggle with Hierarchical Visual Recognition
-
揭示开源LLM缺乏关于视觉世界的层次分类知识(甚至不知道基本的生物分类体系),这使得LLM成为Vision LLM层次视觉识别的瓶颈。
- The More, the Merrier: Contrastive Fusion for Higher-Order Multimodal Alignment
-
提出Contrastive Fusion (ConFu)框架,将CLIP式的双模态对比学习推广到三模态高阶对齐,在统一目标中同时学习配对和融合表示,支持1→1和2→1检索。
- Think360: Evaluating the Width-centric Reasoning Capability of MLLMs Beyond Depth
-
本文提出 Think360,一个聚焦于"推理宽度"(即模型在多路径搜索、多约束剪枝、回溯试错等方面的能力)的多模态基准,包含 1200+ 高质量样本,并设计细粒度 Tree-of-Thought 评估协议,揭示当前 MLLM 在宽度方向推理上的显著短板。
- Think Visually, Reason Textually: Vision-Language Synergy in Abstract Reasoning
-
针对 ARC-AGI 抽象推理,作者发现"视觉擅长归纳规则、文本擅长精确执行"这一互补性,提出训练无关的 VLSR(在规则归纳阶段用图、在规则应用阶段用文本)和 MSSC(用视觉验证文本答案做跨模态自纠错),在 GPT-4o / Gemini-2.5-Pro / o4-mini / Qwen3-VL 上平均比纯文本基线提升最高 4.33%。
- Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views
-
3DThinker 让 VLM 在推理链里直接吐出一段「3D 隐 token」、并把它对齐到 3D 基础模型 VGGT 的几何特征,从而在不输入任何 3D 先验、不依赖稠密标注的前提下,仅凭有限的几张 2D 视图就能「在脑子里想象 3D 场景」做空间推理;在 8 个空间理解 benchmark 上稳定超越强基线,最大模型甚至压过 o3。
- Thinking Beyond Labels: Vocabulary-Free Fine-Grained Recognition using Reasoning-Augmented LMMs
-
FiNDR 用一个带推理能力的大型多模态模型(LMM)直接为无标签图像"想出"细粒度类名,再用 CLIP 做视觉过滤和模态耦合构造分类器,在 5 个细粒度数据集上把无词表识别推到 SOTA(平均 cACC +9.5%),甚至反超了"用真实类名"的零样本上界。
- Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models
-
首次定量分析扩散多模态LLM (dMLLM)的CoT推理过程,发现"早期回答生成"和"弱视觉依赖"两个关键问题,提出PSP(位置-步骤惩罚)和VRG(视觉推理引导)两种免训练方法,在3倍加速下获得最高7.5%的精度提升。
- Thinking in Dynamics: How Multimodal Large Language Models Perceive, Track, and Reason Dynamics in Physical 4D World
-
提出 Dyn-Bench——一个面向 4D 物理世界动态理解的大规模基准(1k 视频、7k VQA 对、3k 动态 grounding 对),系统评估了通用/空间/区域级 MLLM 的时空推理能力,发现现有模型无法同时维持推理和 grounding 的一致性,并提出 Mask-Guided Fusion 和 ST-TCM 两种结构化集成方法显著提升动态感知。
- Thinking with Programming Vision: Towards a Unified View for Thinking with Images
-
本文提出 CodeVision,让 MLLM 直接"写代码"作为统一工具接口去操纵图像(旋转、翻转、裁剪、增强……),并用「SFT 冷启动 + 稠密过程奖励 RL」两阶段训练,使模型在被旋转/翻转污染的图像上恢复出健壮的多轮多工具推理能力——在自建的方向变换基准上比基座模型平均提升十几个点,在多工具基准 MVToolBench 上几乎把次优模型的分数翻倍。
- Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning
-
VITAL 给多模态大模型(MLLM)配一个「视频裁剪」工具,让它在推理链中按需把可疑时间段稠密重采样成新帧、形成「多模态思维链」,再用难度感知的 DGRPO 强化学习把多任务训练稳住,从而在长视频问答和时序定位上做到 7B 级别的 SOTA。
- TIGeR: A Unified Framework for Time, Images and Geo-location Retrieval
-
提出TIGeR框架,通过多模态Transformer联合学习图像-位置-时间的统一地理时间嵌入空间,实现地理定位、拍摄时间预测和地理时间感知图像检索三个任务的统一,并构建了4.5M规模的高质量基准数据集。
- TimeLens: Rethinking Video Temporal Grounding with Multimodal LLMs
-
系统调查构建MLLM视频时间定位(VTG)能力的关键因素,从数据质量和算法设计两个维度出发,发布高质量基准TimeLens-Bench和训练集TimeLens-100K,并通过交错文本时间编码+thinking-free RLVR训练范式构建TimeLens系列模型,在开源模型中达到SOTA并超越GPT-5和Gemini-2.5-Flash。
- TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding
-
TimeViper 用 Mamba-2 与自注意力混合的 9B 大模型当骨干,借助新发现的"视觉信息会逐层汇聚进指令 token"现象,提出在 LLM 内部用门控交叉注意力把冗余视觉 token 转移压缩进指令 token 的 TransV 模块,从而在单张 GPU 上处理上万帧的小时级长视频,且性能与 Transformer 系 MLLM 相当。
- TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment
-
提出 TIPSv2,通过发现蒸馏能显著提升 patch-text 对齐能力,并将该洞察转化为新的预训练目标 iBOT++(可见 token 也参与损失计算),结合头部EMA和多粒度文本增强,在 9 个任务 20 个数据集上达到 SOTA。
- Token Warping Helps MLLMs Look from Nearby Viewpoints
-
提出对 MLLM 的 ViT image token 做空间 warping(而非传统的像素级 warping)来模拟视角变换,发现 backward token warping 在保持语义一致性同时对深度估计噪声鲁棒,在自建的 ViewBench 上大幅超越像素级 warping、专用空间推理 MLLM 和生成式 warping 方法。
- Topo-R1: Detecting Topological Anomalies via Vision-Language Models
-
提出Topo-R1——首个赋予VLM拓扑感知能力的框架,通过自动化数据构建管线+SFT+GRPO强化学习(含拓扑感知复合奖励),实现无标注的管状结构拓扑异常检测与分类。
- Towards Calibrating Prompt Tuning of Vision-Language Models
-
针对prompt tuning后CLIP面临的"双重误校准"问题(基类欠自信+新类过自信),提出均值-方差margin正则化和文本矩匹配损失两个互补正则项,作为即插即用模块在7种prompt tuning方法和11个数据集上显著降低ECE。
- Towards Dynamic Modality Alignment in Multimodal Continual Learning
-
这篇论文指出"模态对齐不是一次定型的静态约束、而是随任务和网络层动态演化的过程",于是为每个任务构建一张「动态对齐图」(节点是跨模态聚类质心、层内边刻画 token 交互、层间边刻画表示传播),再用三级图正则把旧类子图的演化锁住、新类子图放开,从而阻止浅层错位像滚雪球一样传到深层;在 MTIL 11 数据集上以 1.8M 可训练参数把 Avg./Last 推到 79.4%/87.1%,超过此前最强基线 DIKI 约 +3.1%/+2.0%。
- Towards Multimodal Domain Generalization with Few Labels
-
定义并研究半监督多模态域泛化(SSMDG)新问题,提出融合一致性驱动伪标签、分歧感知正则化和跨模态原型对齐的统一框架,在少量标注下实现多模态模型的跨域泛化。
- Towards Open-Vocabulary Industrial Defect Understanding with a Large-Scale Multimodal Dataset
-
本文构建了首个百万级工业缺陷"图像-文本对"数据集 IMDD-1M(124 万张图、63 个制造领域、421 种缺陷类型),并在其上从零训练了一个文本条件扩散基础模型,把分割、检测、分类、生成统一进一套框架;下游任务每类仅用约 200 张样本微调(不到专家模型 5% 的标注量)即可逼近专用模型性能。
- Towards Real-World Document Parsing via Realistic Scene Synthesis and Document-Aware Training
-
提出数据-训练协同设计框架 DocHumming:通过 Realistic Scene Synthesis 构建 DocMix-3M 大规模合成数据集,结合渐进学习和结构 token 加权的 Document-Aware Training Recipe,在仅 1B 参数的 MLLM 上实现 OmniDocBench Overall 93.75(超越 Qwen3-VL-235B 的 89.15),且在真实拍摄场景下仅退化 6.72 分(模块化方法退化 18-20 分)。
- Training-Only Heterogeneous Image-Patch-Text Graph Supervision for Advancing Few-Shot Learning Adapters
-
TOGA 在训练阶段额外挂一个「图像-图块-文本」异构图教师做细粒度跨模态推理,并把这些关系知识蒸馏进 Tip-Adapter 的键值缓存里,测试时把整个图教师丢掉、推理路径和 Tip-Adapter 完全一样(零额外延迟/显存),在 11 个 1–16 shot 基准上刷新 SOTA。
- Training High-Level Schedulers with Execution-Feedback Reinforcement Learning for Long-Horizon GUI Automation
-
提出 CES(Coordinator-Executor-State Tracker)多智能体框架和分阶段执行反馈强化学习算法,将高层任务规划与低层执行解耦,通过专门训练的 Coordinator 和 State Tracker 显著提升 GUI Agent 在长时序任务上的规划和状态管理能力。
- TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model
-
TransPrune 提出用「token 在模型内部传播时表示发生的变化」(token transition)来判断视觉 token 是否重要,组合两个互补信号——只看 token 自身幅度/方向变化的 TTV 和看指令对图像注意力的 IGA——做免训练的渐进式剪枝,在 LLaVA-1.5/Next、Qwen2.5-VL 上把推理 TFLOPs 砍掉一半还几乎不掉点。
- TreeTeaming: Autonomous Red-Teaming of Vision-Language Models via Hierarchical Strategy Exploration
-
TreeTeaming 提出了一个基于层次策略树的自动化红队测试框架,通过 LLM 驱动的 Orchestrator 动态地探索和进化攻击策略,在12个主流 VLM 上实现了 SOTA 的攻击成功率(GPT-4o 达 87.60%),并发现了超越已知策略集的多样化新攻击手段。
- TRivia: Self-supervised Fine-tuning of Vision-Language Models for Table Recognition
-
提出 TRivia 自监督微调框架,通过表格问答(QA)驱动的 GRPO 强化学习,让 VLM 直接从无标注表格图像中学习表格识别能力,3B 参数的 TRivia-3B 在多个基准上超越 Gemini 2.5 Pro 和 GPT-5 等私有模型。
- TTL: Test-time Textual Learning for OOD Detection with Pretrained Vision-Language Models
-
针对现有 CLIP OOD 检测依赖"固定外部 OOD 标签"无法覆盖开放世界的痛点,TTL 在测试流上只更新一组可学习的 OOD 文本提示,用伪标签放大 OOD 相似度、用净化损失剔除 ID 边界样本噪声、再用一个文本知识库做跨批次分数校准,在两大基准九个 OOD 数据集上把平均 FPR95 降了 12.67%、AUROC 提了 3.94%。
- TTRV: Test-Time Reinforcement Learning for Vision Language Models
-
TTRV 让现成的解码器型 VLM 在推理阶段、对着无标签的测试数据直接做强化学习——靠"模型自己输出的频率"和"输出分布的熵"两个自监督奖励驱动 GRPO,在 16 个数据集上物体识别平均涨 24.6%、VQA 平均涨 10.0%,甚至把 InternVL3-8B 的 ImageNet 识别推到超过 GPT-4o。
- TUNA: Taming Unified Visual Representations for Native Unified Multimodal Models
-
TUNA 把一个 VAE 编码器和一个语义表示编码器级联起来,得到一套同时适配「理解」和「生成」的连续统一视觉表示,再配上自回归文本头 + 流匹配生成头,让 1.5B/7B 规模的单一原生模型在图像/视频理解、图像/视频生成、图像编辑上全面拿到 SOTA(MMStar 61.2、GenEval 0.90)。
- Twin-T & TwintVQA: A Reliable Structure-Detail Separating VLM and a Comprehensive Benchmark for Chart and Table Tasks
-
Twin-T 用「双头图像编码器 + Schur 式融合」显式把图表的结构线索(坐标轴、网格、布局)与细节线索(数值、图例、文字)拆开再重组,再用 MINT 偏好学习专门强化数字与关键词的保真度,配套提出覆盖 17 种图表、11 类任务、3 种格式的 TwintVQA 基准;7B 模型在主流图表-表格榜上超过 GLM-4.5V-106B,逼近 GPT-4o 与 Gemini-2.5-Pro。
- UARE: A Unified Vision-Language Model for Image Quality Assessment, Restoration, and Enhancement
-
UARE 把图像质量评估(IQA)、图像恢复与增强塞进同一个基于 MoT(mixture-of-transformers)的视觉语言模型里,用"先评估、再恢复"(reason-then-restore)的交错数据做两阶段训练,首次系统验证了"让模型先把质量分析说清楚,恢复结果就更好"这一假设,在 SR / 多退化恢复 / IQA 三类任务上都拿到有竞争力的成绩。
- UI-Lens: Assessing General MLLMs' Potential to Automate UI Display Quality Assurance
-
UI-Lens 构建了一个面向真实商业 App 的多语言 UI 显示缺陷检测基准(中文 4,759 张界面 + 英文 3,392 张,6 类缺陷、专家标注),系统评测 9 个主流 MLLM/VLM 后发现:它们在细粒度边界缺陷(文字溢出 F1 仅 22.19%)和跨界面语义一致性(F1 仅 11.44%)上几乎等同随机猜测,暴露出当前模型"只认识物体是什么、不关心它怎么呈现"的根本短板。
- Unbiased Dynamic Multimodal Fusion
-
UDML 提出无偏动态多模态学习框架,包含噪声感知不确定性估计器(通过注入可控噪声并预测其强度来实现在低噪和高噪条件下均准确的模态质量评估)和模态依赖计算器(通过 Dropout 量化模型对各模态的固有依赖偏差并融入加权机制),解决了现有方法的双重抑制问题,在多个多模态基准上一致提升性能。
- Uncertainty-Aware Knowledge Distillation for Multimodal Large Language Models
-
提出Beta-KD,一种基于贝叶斯视角的不确定性感知知识蒸馏框架,通过将教师监督建模为Gibbs先验并用Laplace近似推导闭形解,自动调节数据与教师信号的平衡,在多模态VQA基准上持续提升蒸馏效果。
- Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models
-
提出UNCHA框架,在双曲VLM中用双曲不确定性建模部分图像对整体场景的语义代表性,通过不确定性引导的对比损失和蕴含损失增强组合性场景理解,在多个下游任务上超越现有双曲VLM。
- Understanding Task Transfer in Vision-Language Models
-
本文首次系统研究了 VLM 在一个视觉感知任务上微调后对其他感知任务零样本性能的影响,提出 Perfection Gap Factor (PGF) 归一化指标量化跨任务迁移,在 Qwen-2.5-VL 三个尺度模型上揭示了任务迁移的结构性规律(正/负迁移团、任务角色分类、尺度依赖等),并证明 PGF 可指导数据选择提升微调效率。
- UNI-OOD: Unified Object- and Image-level Out-of-Distribution Detection via Cross-Context Attentive Vision-Language Modeling
-
UNI-OOD 用两对相同的 CLIP 图文编码器分别建模"目标物体"和"背景",靠四类跨上下文注意力(图内 / 图间 / 文本间 + 图文对齐)把细粒度物体证据从虚假背景关联中解耦出来,第一次用一个模型、无需推理时预先知道任务类型,就在物体级和图像级 OOD 检测上同时刷到 SOTA。
- UNICBench: UNIfied Counting Benchmark for MLLM
-
推出UNICBench,首个统一的跨模态(图像/文本/音频)多层级计数基准,包含5,508+5,888+2,905共14,301个QA对及三级能力(Pattern/Semantic/Reasoning)×三级难度(Easy/Medium/Hard)分类,系统评估45个SOTA MLLM,揭示基本计数任务趋近但推理级和困难任务存在显著差距。
- UniCompress: Token Compression for Unified Vision-Language Understanding and Generation
-
UniCompress 在现成离散 tokenizer 外面套一组轻量「全局元token 抽取 + 平均池化压缩 + 全局引导的自回归解压」模块,把统一理解-生成模型的视觉 token 数砍 4×,理解几乎不掉点、生成只小幅退化,且无需重训语言模型。
- Unified Generation and Self-Verification for Vision-Language Models via Advantage Decoupled Preference Optimization
-
ADPO 用一套强化学习目标让同一个 VLM 既生成答案、又给自己打验证分,靠「偏好验证奖励」解决类别不平衡、靠「优势解耦优化」防止 reward hacking,使单模型的 best-of-N 选择在数学/视觉定位/手机 agent 三类任务上都超过传统「生成器+验证器」双模型,同时把推理延迟最多降 53.5%。
- Unified Personalized Understanding, Generating and Editing
-
OmniPersona 在一个统一大多模态模型里同时实现"个性化的理解、生成、编辑":用结构解耦的概念 token 把同一个概念按任务路由到不同专家子空间以减少互相干扰,再用推理时的"显式知识回放"把概念属性先问答出来再喂给生成,从而第一次把个性化图像编辑也纳入统一框架,并配套提出 OmniPBench 评测基准。
- UniT: Unified Multimodal Chain-of-Thought Test-time Scaling
-
UniT 把语言模型里的"测试时扩展(test-time scaling)"搬到统一多模态模型上:用一个多模型智能体流水线合成"生成→反思→精修"的多轮思维链数据,微调单个统一模型(Bagel),让它在推理时自己迭代地生成、验证、修正图像,并通过"预算强制"控制图像生成轮数,在组合生成、多轮编辑、视觉推理上都拿到显著提升。
- Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models
-
针对 MLLM「越深越偏文本、视觉表示逐层同质化」的模态失衡问题,本文提出 LaVer:在 LLM 的潜在语义空间里对视觉 token 做掩码重建(latent MIM),并用 Clipped Gram-Anchoring 防止特征塌缩,给视觉表示提供直接监督信号,在 OCR/视觉中心等密集视觉任务上显著提升(如 OCRBench +19.22%)。
- UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
-
UVU 把视觉监督从「后训练的辅助约束」前移到「预训练的主驱动力」:它抛弃向量量化(VQ),用连续视觉编码无损输入图像,并用大规模迭代分层聚类构建一个 20 万词条的像素级视觉码本,让 LLM 在自回归 next-token 预测里像吐文字一样吐出像素级图像 token,从而在不依赖外部解码器的前提下把细粒度视觉感知刻进模型的感知主干,3B 模型在 12 个理解 benchmark 上显著超越 Qwen2.5-VL 等同级模型。
- Variation-Aware Vision Token Dropping for Faster Large Vision-Language Models
-
提出 V2Drop,首次从 token 变化量(variation)视角出发,通过渐进式丢弃 LLM 内部变化量最小的"懒惰"视觉 token,实现无训练、无位置偏差、兼容高效算子的 LVLM 推理加速,在图像和视频理解任务中分别保留 94.0% 和 98.6% 原始性能,同时降低 LLM 生成延迟 31.5% 和 74.2%。
- VCU-Bridge: Hierarchical Visual Connotation Understanding via Semantic Bridging
-
VCU-Bridge 提出「基础感知 → 语义桥接 → 抽象隐含义」三层递进的视觉隐含义理解框架,配套可逐层诊断的 HVCU-Bench,发现 MLLM 随推理层级升高性能持续下滑,并用 MCTS 引导的指令微调数据强化底层感知,不仅在本基准提升、还在通用基准平均涨 +2.53%(MMStar +7.26%)。
- Venus: Benchmarking and Empowering Multimodal Large Language Models for Aesthetic Guidance and Cropping
-
定义审美指导(AG)新任务并构建AesGuide基准(10748张照片含审美评分、分析和指导标注),提出Venus两阶段框架——先通过渐进式审美问答赋能MLLM审美指导能力,再通过CoT推理激活审美裁剪能力,在两个任务上均达到SOTA。
- VGent: Visual Grounding via Modular Design for Disentangling Reasoning and Prediction
-
VGent 把视觉定位拆成"高层推理"和"低层框预测"两件事——用一个冻结的多模态大模型(MLLM)当编码器只负责推理、用现成检测器产生候选框、再用一个解码器去 cross-attend 编码器的隐状态来"挑出"目标框,从而避开自回归逐字解码的慢与幻觉,在多目标定位基准上 F1 大涨 +20.6%,同时推理延迟恒定。
- Video-Only ToM: Enhancing Theory of Mind in Multimodal Large Language Models
-
提出VisionToM,一个基于视觉的轻量级干预框架,通过探测和干预MLLM中对视觉输入和ToM推理敏感的注意力头,在不微调模型的情况下显著增强多模态大语言模型的心智理论推理能力,在EgoToM基准上大幅提升表现。
- VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusion
-
提出首个大规模红外-可见光视频融合框架 VideoFusion,通过跨模态差分增强、完整模态引导融合和双向时序协同注意力机制,联合建模跨模态互补性与时序动态,生成时空一致的高质量融合视频,并构建了包含220个视频/15.4万帧的 M3SVD 数据集。
- ViKey: Enhancing Temporal Understanding in Videos via Visual Prompting
-
ViKey 通过在视频帧上叠加帧序号的视觉提示(Visual Prompting),配合轻量的关键词-帧映射(KFM)模块,在免训练条件下显著提升 VideoLLM 的时序推理能力,即使只用 20% 的帧也能接近密集帧的性能。
- VinQA: Visual Elements Interleaved Long-form Answer Generation for Real-World Multimodal Document QA
-
VinQA 提出一个面向真实文档的「视觉元素交错式长答案生成」数据集与任务——答案不再是纯文本,而是把引用到的图、表、图表插在对应支撑文字之前,并配套两种把原始页面图喂进 MLLM 的编码方式(Page / Modality Encoding)和一套多模态打分框架 M-GroSE;在 VinQA 训练集上微调开源 Qwen2.5-VL-7B 能把 M-GroSE Avg 从 ~2.0 拉到 ~3.34,大幅逼近 GPT-4.1 / Claude 3.5 等闭源前沿模型。
- ViRC: Enhancing Visual Interleaved Mathematical CoT with Reason Chunking
-
ViRC 提出 Reason Chunking 机制,将多模态数学 CoT 结构化为连续的"关键推理单元(CRU)",模拟人类专家反复审视图像并逐步证明中间命题的过程,通过 CRUX 数据集和渐进式训练策略(Instructional SFT → Practice SFT → Strategic RL),实现ViRC-7B 在数学基准上平均提升 18.8%。
- Vision-Language Model Guided Source-Free Domain Adaptation via Optimal Transport
-
VSFOT 把无源域适应(SFDA)从"模型自己给自己打伪标签自训练"的死循环里解放出来,改成用冻结的 CLIP 当外部语义先验、通过最优传输(OT)把目标特征软对齐到源分类器原型,再让任务模型反向蒸馏微调 CLIP,两个方向交替优化形成双向蒸馏,在四个 benchmark 上稳定超过现有 SFDA 方法。
- Vision-Language Models Encode Clinical Guidelines for Concept-Based Medical Reasoning
-
提出MedCBR框架,通过将临床诊断指南(如BI-RADS)融入概念瓶颈模型的训练和推理过程,利用LVLM生成指南一致性报告增强概念监督,结合多任务CLIP训练和大推理模型生成结构化临床解释,在超声和乳腺X光癌症检测上达到94.2%和84.0%的AUROC。
- VISion On Request: Enhanced VLLM Efficiency with Sparse, Dynamically Selected, Vision-Language Interactions
-
VISOR 提出了一种区别于视觉 token 压缩的新效率范式——通过稀疏化 LLM 内部视觉-语言交互层(少量交叉注意力 + 动态选择的自注意力层),在保留完整高分辨率视觉 token 的同时实现 8.6-18 倍 FLOPs 节省,尤其在需要细粒度理解的困难任务上大幅超越 token 压缩方法。
- VisionLeaf: Entropy-Guided Leaf-First Reasoning for Efficient and Accurate Think-with-Image
-
VisionLeaf 把 think-with-image 的多轮工具调用看成一棵推理树,不再像普通 GRPO 那样从根节点一路单链 rollout 到叶子,而是"叶优先"地在熵最高的节点上分裂出多条分支,从而在不改模型、不改训练数据的前提下,让 Qwen2.5-VL-7B 在 VStar / HR-Bench 上提点约 4.2%,同时把推理工具调用次数砍掉近一半。
- VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
-
VisMem 给视觉语言模型(VLM)装上一套"潜视觉记忆"系统——按认知心理学把记忆拆成「短时·视觉主导」和「长时·语义主导」两类,在自回归生成途中由特殊 token 动态触发、即时生成 latent 记忆向量插回上下文,用两阶段强化学习训练,在 12 个基准上相对原模型平均提升 11.0%。
- VisPlay: Self-Evolving Vision-Language Models
-
VisPlay 让一个基座 VLM 同时扮演「出题者」和「答题者」两个角色,仅用无标注图片、靠答题者的回答不确定性自动给出题者的题目打分、靠多数投票给答题者造伪标签,两者用 GRPO 交替自博弈进化,在 8 个视觉推理基准上稳定涨点且几乎追平用人工标注训练的 GRPO。
- VisRes Bench: On Evaluating the Visual Reasoning Capabilities of VLMs
-
VisRes 是一个用纯图像、四选一格式构建的视觉推理基准,把任务按「感知补全 → 单属性规则 → 多属性组合」三个难度层级展开共约 1.9 万道题,发现一旦抽掉语言提示,连 GPT-5、Gemini-2.5 这样的前沿 VLM 在细微扰动下也接近随机水平,暴露出它们的"推理"很大程度是语言先验而非真正的视觉理解。
- Visual-Aware CoT: Achieving High-Fidelity Visual Consistency in Unified Models
-
VACoT 让统一理解-生成模型在做多参考图生成时,先生成一份"该保哪些视觉元素"的视觉清单(Adaptive Visual Planning),再对照清单自我反思、迭代修图(Iterative Visual Correction),并用 SFT + flow-GRPO 双阶段训练把这套"看图自检"能力灌进 BAGEL,在 OmniContext 上平均分从 5.55 提到 8.26,部分子任务超过 GPT-4o。
- Visual Funnel: Resolving Contextual Blindness in Multimodal Large Language Models
-
针对 MLLM「看得见细节却读不懂上下文」的失败模式(作者命名为 Contextual Blindness),本文提出训练无关的两步法 Visual Funnel——先用定位式 prompt 抽一张更准的注意力图,再据注意力熵自适应地生成「焦点→近邻→全局」三层多尺度裁剪组合,在 4 个细粒度 VQA 上相对单裁剪 baseline 最高提升 +16.4。
- Visual Grounding for Object Questions
-
本文提出为物体问题做视觉定位(VGOQ)这一新任务——不再去框"答案直接在哪",而是定位"能支撑回答开放式抽象问题的视觉证据/上下文";作者用两条自动数据生成流水线造出 VizWiz-VGOQ 与 ABO-VGOQ 两个基准,并训练了一个仅 1.77M 参数的轻量 CLIPSeg 风格模型,在 VGOQ 任务上超过 GLaMM/UnifiedIO/OFA 等大模型、可与同期的 Qwen3-VL 抗衡。
- Visual Reasoning through Tool-supervised Reinforcement Learning
-
针对多模态大模型(MLLM)"会调工具但调不好、调不勤"的问题,本文提出 ToolsRL:用一批易获取的工具级 ground-truth(bbox、旋转角、点/线坐标)直接监督 RL,并设计两阶段课程——先只学"把工具用对",再学"用工具把题答对"——在多个高分辨率/旋转文档/图表理解 benchmark 上刷到 SOTA,且平均工具调用次数(3.4 次)远高于此前方法(多数 ≤1 次)。
- VisualOverload: Probing Visual Understanding of VLMs in Really Dense Scenes
-
本文用 150 张超 4K 分辨率、人物动作高度密集的公版名画构建了 VisualOverload——一个含 2720 道人工标注问答、真值私有的 VQA benchmark,专门测 VLM 在"视觉过载"场景下的基础感知(活动/属性/计数/OCR/推理/场景分类),结果 37 个模型里最强的 o3 在最难子集上也只有 19.6% 准确率,说明"基础视觉理解已被解决"是个错觉。
- VITAL: Vision-Encoder-centered Pre-training for LMMs in Visual Quality Assessment
-
VITAL 用六个打分模型自动标注、再让多个 LMM 互审,造出 458 万条视觉-语言对,然后冻住 LLM 只训视觉编码器做生成式预训练,得到一个能在图像/视频质量打分与质量描述上同时通用、且换任意 LLM 解码器都能秒迁移的视觉质量评估基础模型。
- VKG-QA: Visual Knowledge Graph-based Question Answer for Large Multimodal Models
-
把知识图谱画成图片让大多模态模型(LMM)直接"看图"做问答,作者构建了覆盖 3 大类 14 子任务、3205 道题的 VKG-QA 基准,评测 19 个 LMM 后发现:当前模型在"看懂图结构"上普遍吃力,图结构理解(度数/方向/连通性)是最难的短板,闭源模型大幅领先开源模型。
- VL-RouterBench: A Benchmark for Vision-Language Model Routing
-
提出VL-RouterBench,首个面向视觉-语言模型的系统性路由基准,涵盖14个数据集、17个候选模型和519,180个样本-模型对,评估10种路由方法,并发现当前最优路由器与理想Oracle之间仍存在显著差距。
- VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction
-
VLM-3R 把一个度量尺度的前馈式 3D 重建模型(CUT3R)接到 VLM 上,从纯单目视频里抽出隐式的场景几何 token 和相机运动 token,再用跨注意力融进视觉特征做指令微调,让模型不靠深度传感器、不靠预建点云地图就能做空间和时序推理,在 VSI-Bench、新提出的 VSTI-Bench 上都拿到开源模型第一。
- VLM-Guided Group Preference Alignment for Diffusion-based Human Mesh Recovery
-
提出基于VLM的双记忆自反思评判代理(Critique Agent)为扩散式人体网格恢复生成组级偏好信号,再通过组偏好对齐(Group Preference Alignment)微调扩散模型,无需3D标注即可大幅提升野外场景下的HMR精度。
- VLM-Loc: Localization in Point Cloud Maps via Vision-Language Models
-
提出VLM-Loc框架,将3D点云地图转换为BEV图像和场景图供VLM进行结构化空间推理,结合部分节点分配(PNA)机制实现文本-点云精细定位,在自建的CityLoc基准上以Recall@5m提升14.20%大幅超越先前SOTA。
- VLM-Pruner: Buffering for Spatial Sparsity in an Efficient VLM Centrifugal Token Pruning Paradigm
-
提出VLM-Pruner,一种免训练的离心式token剪枝方法,通过空间稀疏缓冲(BSS)准则平衡冗余消除与局部细节完整性,在88.9%剪枝率下跨5个VLM一致超越现有方法,同时实现端到端推理加速。
- Vocabulary Scaling Law: Tuning Open-vocabulary Predictors for Their Openness
-
本文把 CLIP 在「词表不断扩张」时维持旧类精度(stability)和零样本认新类能力(extensibility)这两件事,理论上证明它们都被「在完整开放词表宇宙 \(U\) 上的预测置信度」所下界,由此推出三条调优原则(覆盖整个 \(U\)、只调类名嵌入、对训练/开放类名嵌入加正交约束),并落地为一个用子模贪心选小子集来近似 \(U\) 的微调方法 SVFT,在 stability 和 extensibility 上同时显著超过现有微调方法。
- VOLD: Reasoning Transfer from LLMs to Vision-Language Models via On-Policy Distillation
-
VOLD 用一个纯文本的教师 LLM(Qwen3-8B)来训练视觉语言学生模型(Qwen2.5-VL-3B)的推理能力:先用教师生成的推理轨迹做 SFT 冷启动对齐分布,再把 GRPO 强化学习和"在线蒸馏"(reverse KL)合并到同一套 rollout 上联合优化,全程不用任何图文推理数据,却在 MMMU-Pro、MathVision、LogicVista 等四类视觉推理基准上超过了那些直接拿图文数据训练的方法。
- VQ-VA World: Towards High-Quality Visual Question-Visual Answering
-
这篇论文把"看图提问、用图回答"(Visual Question-Visual Answering, VQ-VA)这一原本只有 GPT-Image / NanoBanana 等闭源系统才有的能力带给开源模型:用一条五智能体流水线从网页图文交错文档里挖出约 180 万条"需要世界知识与推理才能完成图像变换"的训练样本,外加人工标注的 IntelligentBench 评测集;在这批数据上微调 LightFusion 后,IntelligentBench 得分从 7.78 飙到 53.06,超过所有开源模型并大幅缩小与闭源系统的差距。
- VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction
-
VQRAE 把 RAE(用预训练视觉基座当编码器的表示自编码器)做成向量量化版,一个 tokenizer 同时吐出连续语义特征供理解、离散 token 供生成与重建,并首次证明:量化语义特征时码本要用高维度(1536)才能 100% 利用、不塌缩,彻底摆脱了双编码器和 CNN 像素编码器。
- VS-Bench: Evaluating VLMs for Strategic Abilities in Multi-Agent Environments
-
本文提出 VS-Bench,一个包含十个视觉化博弈环境的多模态基准,从感知、策略推理和决策三个维度系统评估 VLM 在多智能体环境中的策略能力,发现当前最强模型在推理和决策上仍与最优表现有显著差距。
- Wan-Weaver: Interleaved Multi-modal Generation via Decoupled Training
-
Wan-Weaver 提出规划器(VLM)+ 可视化器(DiT)的解耦架构,通过大规模文本代理数据训练规划器而非真实交错数据,在 OpenING 上 Overall 8.67 分超越 Nano Banana 的 8.85,在保持理解能力(MMMU 74.9)的同时实现 SOTA 交错文图生成。
- WEAVE: Unleashing and Benchmarking the In-context Interleaved Comprehension and Generation
-
WEAVE 构建了首个面向"多轮、带历史上下文"的交错跨模态理解与生成数据套件——10 万条多轮对话训练集 WEAVE-100k + 100 题人工标注基准 WEAVEBench + 混合 VLM 评判框架,揭示出当前统一多模态模型在多轮、需要"视觉记忆"的图像编辑/生成上集体翻车,而用 WEAVE-100k 微调能让模型涌现出视觉记忆能力。
- WeaveTime: Streaming from Earlier Frames into Emergent Memory in VideoLLMs
-
WeaveTime 把流式 VideoLLM 的两个老毛病——分不清事件先后、分不清"现在"和"过去"——拆成"训练教时序 + 推理用时序"两步解决:训练时用一个不需要专门流式数据的时序重排辅助任务给模型注入顺序感,推理时用一个按预测熵触发、粗到细检索的记忆缓存按需回溯历史,作为插件挂到现成 VideoLLM 上即可在 OVO-Bench / Streaming-Bench 上同时提精度、降延迟。
- WeaveTime: Stream from Earlier Frames into Emergent Memory in VideoLLMs
-
诊断了当前 Video-LLM 存在的"时间不可知"(Time-Agnosticism)问题,提出 WeaveTime 框架,通过训练时的时序重建辅助任务(SOPE)赋予模型时序感知能力,推理时用不确定性门控的粗到细记忆缓存(PCDF-Cache)实现高效自适应记忆检索,在流式视频 QA 上取得显著提升。
- WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens
-
WeMMU 用一组每步从 \(\mathcal{N}(0,I)\) 重采样的「噪声查询 token」把冻结的 VLM(Qwen2.5-VL)和可训扩散模型(Sana)桥接起来,再外挂一条 VAE 线性分支补回细节,从而治好了「固定可学查询」在迁移到新任务时的「任务泛化坍缩」,实现高效、可持续学习的统一多模态生成与编辑。
- What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models
-
提出EmbedLens探针工具系统分析MLLM中视觉token的内部结构,发现视觉token分为sink/dead/alive三类(约40%为无用token),alive token已在进入LLM前编码丰富语义("预语言"特性),且LLM内部视觉计算对大多数任务冗余,直接中层注入即可。
- When to Think and When to Look: Uncertainty-Guided Lookback
-
本文首次系统分析了 LVLM 中 test-time thinking 对视觉推理的影响,发现"多想不如多看"——长推理链常忽略图像导致"long-wrong"轨迹,并据此提出不确定性引导的 lookback 解码策略,通过在推理链漂移时注入视觉回看提示,在不修改模型的前提下将 MMMU 等 6 个基准提升 2-6 个点。
- When Token Pruning is Worse than Random: Understanding Visual Token Information in VLLMs
-
发现VLLM深层中现有token剪枝方法不如随机剪枝的现象,提出基于输出概率变化量化视觉token信息的方法,揭示了"信息地平线"——视觉token信息在某层均匀消散至零的临界层,其位置受任务视觉复杂度和模型能力动态影响,并证明简单集成随机剪枝能有效提升现有方法。
- When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought
-
MIRA 是一个专为「必须先画出中间图才能推理」的题目设计的多模态基准:546 道横跨几何、物理、抽象谜题、因果变换四大领域的题目都配了人工标注的中间视觉线索,再用「直接输入 / 文字思维链 / 视觉思维链」三级诊断协议把视觉信息的贡献单独剥离出来——结果是连 GPT-5、Gemini 2.5 Pro、o3 在直接输入下都不到 20% 准确率,而喂入人工中间图后平均相对提升 33.7%,证明「画图来想」是当前 MLLM 缺的一项核心能力。
- Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention
-
这篇论文先用「逐层视觉掩码」拆解 MLLM 内部视觉信息究竟在哪几层被融合进语言流(发现融合集中在浅-中层、深层会"回看"),再据此提出一个免训练的对比注意力方法——拿"预融合层"和最终层的注意力做差来抠出真正与任务相关的图像区域、重新喂回模型做二次推理,在 7 个 MLLM、多个 VQA benchmark 上稳定涨点。
- Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation
-
提出Eagle,一个轻量级黑盒归因框架,通过insight score(充分性)和necessity score(不可或缺性)的统一目标函数对MLLM的自回归token生成进行空间归因,并量化每个token依赖语言先验还是感知证据,在忠实度/定位/幻觉诊断上全面超越现有方法且GPU显存需求大幅降低。
- Why Does RL Generalize Better Than SFT? A Data-Centric Perspective on VLM Post-Training
-
这篇论文用「数据视角」解释了为什么 RL(GRPO)后训练的 VLM 比 SFT 更能泛化到分布外数据:RL 的优势并非来自算法本身,而是其优势函数天然把训练信号集中在「中等难度」样本上,相当于一个隐式数据过滤器;据此作者提出 DC-SFT——显式剔除困难样本后再做普通 SFT,结果在 OOD 上反超 RL,且更稳定、快 3–5 倍。
- Widget2Code: From Visual Widgets to UI Code via Multimodal LLMs
-
首次形式化 Widget-to-Code 任务,构建了首个纯图像 widget 数据集和多维评估体系,提出基于感知代理和 WidgetFactory 基础设施的模块化基线,通过组件分解、图标检索、可复用可视化模板和自适应渲染实现高保真 widget 重建。
- WikiCLIP: An Efficient Contrastive Baseline for Open-domain Visual Entity Recognition
-
WikiCLIP 重新拾起被生成式方法压过的对比学习范式做开放域视觉实体识别——用 LLM 编码维基百科文本当知识表示、再用视觉特征在 patch 级别筛掉无关文字得到"知识感知实体向量",配上合成难负样本训练,在 OVEN unseen 上反超 13B 生成式 SOTA(AutoVER)3.4 个点,推理却快了近 100 倍。
- Will Multimodal Models Be Dazzled by Multi-Image Visual Puzzles?
-
这篇论文提出 MIRACLE 基准——一个含 4,000 道题、29,400 张图、平均每题 7.35 张图(最多 14 张)的多图复杂推理评测集,强制模型必须做跨图关系推理才能答对,结果显示连最强的 Gemini-2.5-Pro 也只拿到 55.91%,而拼图、数字约束推理这类高视觉密度任务上所有模型集体崩盘,暴露出当前 MLLM 在结构化、协同视觉推理上的能力短板。
- World in a Frame: Understanding Culture Mixing as a New Challenge for Vision-Language Models
-
作者提出 CultureMix 这个食物 VQA 基准——用扩散模型合成 2.3 万张「多种文化元素同框」的图片(4 个子任务),评测 10 个大视觉语言模型(LVLM)在文化混合场景下识别食物及其原产国的能力,发现模型严重依赖背景线索、会被「干扰文化」带偏预测(加背景后准确率掉 14%),并初步验证了监督微调(SFT)能显著缓解这一脆弱性。
- ZOO-Prune: Training-Free Token Pruning via Zeroth-Order Gradient Estimation in Vision-Language Models
-
ZOO-Prune 用「零阶梯度估计」在轻量的投影层(projection layer)上度量每个视觉 token 的「敏感度」,再把敏感度和特征多样性相乘成混合分数来贪心选 token,做到完全训练无关地剪掉至多 94.4% 的视觉 token、端到端推理提速 2.30×,且几乎不掉精度。