⚖️ 对齐 / RLHF¶

📷 CVPR2026 · 8 篇论文解读

📌 同领域跨会议浏览： 🧪 ICML2026 (26) · 💬 ACL2026 (31) · 🔬 ICLR2026 (40) · 🤖 AAAI2026 (17) · 🧠 NeurIPS2025 (36) · 📹 ICCV2025 (2)

🔥 高频主题： 多模态 ×4 · 对齐/RLHF ×3 · 对抗鲁棒 ×2

Anchoring the Mind of Multimodal Reasoners: Cognitive Bias as a Vector for Jailbreak Attacks: 本文发现多模态大推理模型（MLRM）的安全判断存在"锚定效应"——会被最先看到的信息严重带偏，据此提出 RA-Attack：先用一张"看起来安全"的结构化思维导图加教育语境文本把模型的推理链锚定到安全基调，再顺势把有害意图包装成这条推理链的自然延伸，在 7 个主流 MLRM 上把越狱成功率（ASR）刷到 92%（Gemini-2.5-Pro）、82%（GPT-4o）的 SOTA。
DRM: Diffusion-based Reward Model With Step-wise Guidance: 本文把预训练扩散模型本身当作奖励模型骨干（DRM），利用它能给任意去噪步的噪声潜变量打分这一独特能力，分别设计了密集逐步奖励的 Step-GRPO（训练）和"探索-择优"的 Step-wise Sampling（推理），在不增参数的前提下显著提升 SD3.5-Medium 的生成质量，且收敛速度快 2.5–3.5 倍。
EcoAlign: An Economically Rational Framework for Efficient LVLM Alignment: EcoAlign 把视觉语言大模型（LVLM）的推理时对齐重新框定为"有限算力预算下的最优路径搜索"问题：在动态构建的思维图上用一个类似净现值（NPV）的前瞻函数给每个候选动作打分，权衡安全、效用与成本，并用"最弱环节"原则定义路径安全，从而在更低算力下达到甚至超过现有方法的安全与效用。
Principled Steering via Null-space Projection for Jailbreak Defense in Vision-Language Models: 提出 NullSteer，一种基于零空间投影的激活转向防御框架，通过将转向操作限制在良性激活的零空间中，在不损害模型通用能力的前提下有效抵御视觉越狱攻击。
SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization: SafeGRPO 把"可验证的规则化奖励"塞进 GRPO，让多模态大模型在无需人工偏好标注的情况下自奖励地学会"先按视觉/文本/组合三层逐步推理安全性、再决定回答还是拒答"，在多个安全基准上同时提升越狱防御、安全意识与稳定性，且几乎不损伤通用能力、不引入过度拒答。
Thinking with Frames: Generative Video Distortion Evaluation via Frame Reward Model: REACT 是一个面向生成视频「结构失真」的帧级奖励模型：先建一套八类失真分类体系并标注 1.5 万对帧偏好数据，用 grounding 重构 + Gemini-2.5-Pro 低成本合成 6K 条 CoT，再以「掩码 SFT + GRPO 成对奖励」两阶段训练 Qwen2.5-VL-7B，推理时用动态采样聚焦最可能失真的帧，在偏好对齐和失真识别两项任务上都显著超过现有视频/图像评估器。
Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models: UE-DPO 把多模态大模型（MLLM）幻觉抑制的优化重心，从"模型已经看得懂的视觉敏感 token"挪向"模型看不懂、却很关键的认知盲区 token"——用 token 级认识不确定性（epistemic uncertainty）量化这些盲区，再按不确定性给 preferred / dispreferred 两支非对称地调节 DPO 梯度强度，在多个幻觉 benchmark 上以更小数据量超过 TPO/V-DPO 等同类方法。
Unlocking Token Rewards via Training-Free Reward Attribution: P2T 用一阶 Taylor 近似，把已有过程奖励模型（PRM）打出的「整段」奖励免训练地拆解到每个 token 上——只需一次前向+反向就能算出全序列的 token 级奖励，接到 GRPO 后让数学/多模态推理 RL 训练收敛快约 4×、且在 AIME24 上比 outcome reward 提升 +11.5%。