MedGEN-Bench: Contextually Entangled Benchmark for Open-Ended Multimodal Medical Generation¶

会议: CVPR 2026
arXiv: 2511.13135
代码: 待公开（论文中承诺开源）
领域: 医学图像
关键词: 多模态医学生成, benchmark, VLM评估, 图文交缠, 开放式生成

一句话总结¶

提出 MedGEN-Bench，首个面向开放式多模态医学生成的综合基准，包含 6,422 个专家验证的图文对、6 种成像模态、16 个临床任务，配套三层评估框架，揭示了组合框架优于统一模型的跨模态一致性问题。

研究背景与动机¶

现有医学视觉基准（VQA-RAD、SLAKE、PMC-VQA 等）存在三大根本性缺陷：(1) 查询-图像脱耦——问题是通用模板，缺乏与图像内容的深度关联，将 VQA 退化为简单分类；(2) 封闭式捷径——多选题格式使模型只需排序答案，绕开复杂的临床推理；(3) 纯文本输出——忽视了临床实践中不可或缺的图像生成能力（如病灶定位、区域编辑）。这三点与真实临床工作流严重脱节。本文旨在构建一个同时评估文本诊断生成和临床相关图像合成能力的综合基准。

方法详解¶

整体框架¶

MedGEN-Bench 通过四阶段流水线构建：(1) 预处理——两阶段过滤（元数据粗过滤 + GPT-4o 语义验证）选择任务相关医学图像；(2) 图像对合成——规则变换（经典图像处理）和生成变换（扩散模型等）产生输入-输出图像对；(3) 文本对合成——Qwen3-VL 提取语义信息，GPT-4o 做上下文增强，生成指令-回答对；(4) 后处理——自动 VLM 审查 + 医学专家人工验证。

最终基准包含 6,422 专家验证的图文对（11,744 张高质量图像），覆盖 CT、MRI、超声、X-ray、病理学和临床照片 6 种模态，组织为 VQA、图像编辑和上下文多模态生成三种任务格式。构建好的基准再交给三层评估框架打分，诊断模型的跨模态能力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    SRC["公开医学图像数据集<br/>CT/MRI/超声/X-ray/病理/临床照片"]
    subgraph BUILD["四阶段构建流水线"]
        direction TB
        P1["① 预处理<br/>元数据粗过滤 + GPT-4o 语义验证"]
        P2["② 图像对合成<br/>规则变换 + 生成变换"]
        P3["③ 文本对合成<br/>跨模态交缠指令 + 上下文增强"]
        P4["④ 后处理<br/>VLM 自动审查 + 医学专家验证"]
        P1 --> P2 --> P3 --> P4
    end
    SRC --> P1
    P4 --> BENCH["MedGEN-Bench<br/>6,422 图文对 · 6 模态 · 16 任务"]
    BENCH --> EVAL["三层评估框架<br/>像素层 / 文本层 / 整体层 VLM-as-Judge"]
    EVAL --> OUT["模型跨模态能力诊断"]

关键设计¶

1. 跨模态交缠指令：把文本语义钉死在像素证据上

传统医学 VQA 的问题是通用模板，和图像内容松耦合，模型只要做模式匹配就能蒙对，这正是基准想根除的「封闭式捷径」。MedGEN-Bench 反其道而行，刻意把每条指令写成包含详细的、图像特定的视觉线索，模型必须真正读懂这张图、把文本语义扎根到具体像素上才能作答，由此逼出深层跨模态推理而非浅层套话。

2. 上下文增强：用两段式精炼让指令既准确又多样

如果指令直接由模板套出，措辞单一、容易被模型记住套路。MedGEN-Bench 先用 Qwen3-VL 从图像对中提取结构化语义 \(\boldsymbol{\mathcal{M}}\)，填入任务模板得到原始指令对 \(\boldsymbol{\mathcal{I}}_{\text{raw}}\)，再交给 GPT-4o 执行精炼函数 \(\boldsymbol{\psi}\)——它结合输入输出图像、元数据和原始指令，做同义词替换、句法重组和领域术语注入，在保住语义准确的前提下注入语言多样性。消融显示这一步把指令与图像的平均文-图语义相似度从 0.273 拉到 0.372（+36.3%），说明增强后的指令确实和图像贴得更紧。

3. 三层评估框架：像素、文本、整体三个尺度交叉验证

单一指标会掩盖系统性缺陷（比如 PSNR 高但临床全错）。MedGEN-Bench 把评估拆成三层互补：像素层用 SSIM、PSNR、LPIPS 衡量结构/感知相似度；文本层用基于 PubMedBERT 的 BERTScore 衡量语义相似度；整体层用 VLM-as-a-Judge（Analyze-then-Judge，1–10 分），从一致性、视觉-文本对齐、内容准确性、相关性和模态一致性五个维度打分，并区分有参考/无参考两种模式。三层叠加，才能既看出「画得像不像」，又看出「诊断对不对」。

损失函数 / 训练策略¶

本文为基准论文，不涉及模型训练。评估时采用预定义阈值对跨指标结果进行二值化，报告准确率（通过样本比例）。基准的质量保证流程包括： - 自动审查: GPT-4o 评估生成样本与 ground truth 的一致性 - 专家审查: 医学专家从问题有效性、答案准确性和多模态相关性三个维度评估 - 图像标注: 对输入/输出图像添加不显眼的文本标识以辅助 VLM 审查

实验关键数据¶

主实验¶

任务/模型	Holistic w.GT	Holistic w/o GT	文本(BERTScore)	说明
多模态生成
Qwen3-VL & Imagen-4.0-fast	30.11	75.32	51.14	组合框架最优
Gemini-2.5-flash-image (统一)	23.58	49.78	46.86	图像质量高但文本弱
Ming-UniVision (统一)	8.54	11.48	24.93	跨模态严重脱节
图像编辑
Qwen3-VL & Gpt-image-1-mini	72.59	87.62	—	编辑任务最优
Gemini-2.5-flash (统一)	71.28	84.22	—	统一模型最优
VQA
Qwen3-VL	53.10	98.27	29.83	通用VLM领先
HuaTuoGPT-Vision (医学专用)	36.03	75.82	53.67	专业模型文本强但整体弱

消融实验¶

配置	关键指标	说明
原始模板指令	平均相似度 0.273	基线
上下文增强指令	平均相似度 0.372	+36.3%，Pass Rate 86.9%
峰值分布	0.25 → 0.40	增强后指令与图像的语义对齐显著右移

关键发现¶

组合框架 > 统一模型：组合框架通过任务分解和模块协作在跨模态一致性上显著优于统一模型
局部指标掩盖系统性缺陷：Ming-UniVision 的 PSNR/LPIPS 很高但整体评分极低，说明像素质量不等于临床正确性
医学专用模型的局限：HuaTuoGPT-Vision 文本能力强（BERTScore 53.67），但整体评估落后于通用模型，暴露出跨模态脱节
上下文增强至关重要：查询-图像交缠直接提升生成质量，验证了本基准的设计理念

亮点与洞察¶

范式突破: 首次将医学 AI 评估从"理解为主"拓展到"理解+生成"并重，更符合临床工作流
三层评估架构: 像素级+语义级+整体级的组合评估方案比单一指标更能揭示模型的真实能力
揭示性发现: 统一模型的"跨模态脱节"现象——像素保真度好但语义一致性差——对后续模型设计有重要启示

局限与展望¶

评估依赖 GPT-4o 作为 Judge，自身可能引入偏差（VLM 评估 VLM 的循环问题）
图像生成数据经过生成模型变换，可能存在不自然的伪影
6,422 对数据的规模对于涵盖 6 种模态、16 个任务仍显不足，平均每个子任务约 230 对
未包含 3D 体积成像（如完整 CT/MRI 序列），限于 2D 切片
专家验证的可扩展性有限，难以持续大规模更新
所有基准数据来自公开数据集，可能与真实临床数据存在分布差异
未评估模型在时序随访场景（如对比前后两次检查）的能力

评分¶

新颖性: ⭐⭐⭐⭐ 首个系统化的医学多模态生成基准，填补重要空白
实验充分度: ⭐⭐⭐⭐ 评估了 10 组合+3 统一+5 VLM，覆盖面广
写作质量: ⭐⭐⭐⭐ 问题动机论述清晰，pilot study 有说服力
价值: ⭐⭐⭐⭐⭐ 对医学多模态生成领域具有基准性意义，评估框架可复用