CVPR2026 信息检索/RAG 论文解读论文笔记多模态 RAG 问答少样本学习自监督学习对齐/RLHF

🔍 信息检索/RAG¶

📷 CVPR2026 · 11 篇论文解读

📌 同领域跨会议浏览： 🧪 ICML2026 (23) · 💬 ACL2026 (73) · 🔬 ICLR2026 (31) · 🤖 AAAI2026 (26) · 🧠 NeurIPS2025 (30) · 📹 ICCV2025 (7)

🔥 高频主题： 多模态 ×4 · RAG ×2

Beyond Global Similarity: Towards Fine-Grained, Multi-Condition Multimodal Retrieval: 提出MCMR（Multi-Conditional Multimodal Retrieval）大规模基准，通过双证据设计（部分属性仅可从图像推断、部分仅可从文本获取）确保检索任务不可被单模态解决，系统评估5个检索器和7个MLLM重排器，揭示模态不对称性和细粒度推理差距。
CC-VQA: Conflict- and Correlation-Aware Method for Mitigating Knowledge Conflict in Knowledge-Based Visual Question Answering: 提出 CC-VQA，一种 training-free 的知识冲突缓解方法，通过视觉中心的上下文冲突推理和相关度引导的编码/解码两阶段策略，在 E-VQA、InfoSeek、OK-VQA 三个基准上取得 3.3%-6.4% 的绝对精度提升。
Explaining CLIP Zero-shot Predictions Through Concepts: 本文提出 EZPC，通过学习一个线性投影矩阵将 CLIP 的图像-文本嵌入映射到可解释的概念空间，在几乎不损失零样本分类精度的前提下（CIFAR-100/CUB/ImageNet-100 上 H-mean 仅差约 1%），为 CLIP 的预测提供基于人类可理解概念的忠实解释，且推理开销仅增加约 0.1ms。
Language-driven Fine-grained Retrieval: LaFG 把细粒度图像检索（FGIR）的监督信号从语义稀疏的 one-hot 类名换成「属性级语言原型」——用 LLM 把类名展开成属性描述、用冻结 VLM 编码并聚类成数据集级属性词表、再为每类选 Top-K 属性聚合成原型来监督检索模型，从而建立跨类别细节的可比性，在 CUB / Cars / SOP 上刷 SOTA 并显著提升对未见类的泛化。
M4-RAG: A Massive-Scale Multilingual Multi-Cultural Multimodal RAG: 提出首个大规模多语言多文化多模态 RAG 评估框架 M4-RAG，覆盖 42 种语言和 189 个国家的 80K+ 文化 VQA 实例，系统性揭示了 RAG 对小模型有效但无法随模型规模正向扩展、跨语言检索存在严重性能退化的关键发现。
Mask to Align, Weight to Disambiguate: Reliable Unsupervised Cross-Modal Hashing with Masked-Weight Contrast: 针对无监督跨模态哈希里"部分对齐 + 语义歧义"两大顽疾，UWMCH 在融合前对 token 做掩码以逼模型学互补语义，再用语义亲和度给对比损失重新加权来压制假负样本，并辅以双尺度语义正则稳住哈希空间，在三个检索基准的 24 个设置里 21 个拿到最优 mAP。
MuCo: Multi-turn Contrastive Learning for Multimodal Embedding Model: MuCo 提出了一种基于多轮对话的对比学习框架，利用 MLLM 的对话能力在单次前向传播中同时处理多个关联的 query-target 对，大幅提升训练效率，并在 MMEB 和 M-BEIR 检索基准上取得 SOTA 性能。
PinPoint: Evaluation of Composed Image Retrieval with Explicit Negatives, Multi-Image Queries, and Paraphrase Testing: 提出 PinPoint 基准，包含 7,635 个查询和 329K 人工验证的相关性判断，通过显式负样本、多图像查询、释义变体和人口统计元数据四个维度，揭示了现有 CIR 方法在假阳性抑制、语言鲁棒性和多图像推理上的严重缺陷，并提出基于 MLLM 的无训练重排方法作为改进基线。
POGA: Paraphrased and Oppositional Graph Alignment for Fine-Grained Cross-Modal Retrieval: POGA 把图文都解析成结构化场景图，用 LLM 自动生成"复述正样本 + 反事实负样本"并提取它们的差异信息，再用一个跨全局/节点/关系/焦点四个粒度的复合损失训练，从而在长文本细粒度检索上既看清物体属性又能否决"语义相近但事实错误"的描述。
ProM3E: Probabilistic Masked MultiModal Embedding Model for Ecology: ProM3E 用一个"先对齐再融合"的两阶段框架，在嵌入空间里训练一个掩码变分自编码器（MVAE），从少量可见模态推断缺失模态的高斯分布表示，从而支持任意到任意的模态生成、模态反演检索，以及"该融合哪些模态"的不确定性分析，在生态学多模态任务上全面超越 TaxaBind。
RobustVisRAG: Causality-Aware Vision-Based Retrieval-Augmented Generation under Visual Degradations: 提出 RobustVisRAG，一个因果引导的双路径框架，通过非因果路径捕获退化信号、因果路径学习纯净语义来解耦 VisRAG 中的语义-退化纠缠，在真实世界退化条件下检索、生成和端到端性能分别提升 7.35%、6.35% 和 12.40%，同时保持干净数据上的性能。