Protein as a Second Language for LLMs¶

会议: ICLR2026
arXiv: 2510.11188
代码: 待公开
领域: 生物信息 / 蛋白质理解 / LLM 应用
关键词: protein understanding, in-context learning, LLM, second language acquisition, bilingual dataset

一句话总结¶

将氨基酸序列视为 LLM 的"第二语言"，通过构建蛋白质-自然语言双语数据集和自适应上下文构造机制，无需任何训练即可让通用 LLM 在蛋白质问答任务上平均提升 7% ROUGE-L，最高 17.2%，甚至超越领域专用微调模型。

研究背景与动机¶

领域现状: 蛋白质功能理解主要有两大范式：(1) 蛋白质表示学习——在氨基酸序列上自监督预训练后接特定任务解码器；(2) 蛋白质-语言对齐——通过对比学习或多模态 LLM 建立序列与文本的映射。两者均需要大规模训练数据、高计算成本和任务特定微调。

痛点: 蛋白质表示学习的嵌入需要额外"翻译器"才能生成人类可读解释；蛋白质-语言对齐依赖大规模配对数据、每次更换下游目标都需重新微调。两条路线的泛化能力和可扩展性均受限。

核心矛盾: 蛋白质序列本质上具有"语言属性"（固定字符集、组合结构、上下文语义），但现有方法未真正利用这一类比，仍将其视为独立模态而非 LLM 可直接"阅读"的语言。

目标: 设计一个零训练框架，让通用 LLM 仅通过上下文示例就能理解蛋白质序列的功能含义。

切入角度: 借鉴第二语言习得的认知科学原理——人类学习新语言时依赖已有母语知识，通过在上下文中反复遇到新词来推断含义。LLM 可以用同样方式"习得"蛋白质语言。

核心 idea: 构建蛋白质-自然语言双语数据集（79,926 条 QA），设计自适应上下文构造机制（基于序列同源性+文本相似度的双标准检索），让 LLM 通过 in-context 示例获得蛋白质推理能力。

方法详解¶

整体框架¶

"Protein-as-Second-Language" 想解决的是：不训练、不改一个参数，就让通用 LLM 读懂氨基酸序列的功能含义。它分三个阶段串起来。首先离线构建双语数据集——从 Swiss-Prot 出发，经 GO-DAG 剪枝分组、序列与功能两轮去冗余、再用 DeepSeek-R1 出题，得到 79,926 条"蛋白质序列-自然语言"QA 三元组。推理时对每个查询蛋白质做自适应上下文构造：同时检索序列同源和文本相似的示例，拼成一段双语上下文。最后把这段上下文连同查询直接喂进冻结的 LLM，让它靠 in-context 示例零训练地生成功能答案。整条链路的精髓是把"读蛋白质"当成一次第二语言习得，用母语（自然语言）的能力去推断外语（氨基酸序列）的含义。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    SP["Swiss-Prot<br/>573,661 条注释"] --> DS
    subgraph DS["双语数据集构建（离线）"]
        direction TB
        A["GO-DAG 剪枝分组<br/>自适应支持阈值"] --> B["双语去冗余<br/>序列聚类 + 功能 IC 采样"] --> C["DeepSeek-R1 出题<br/>四类 QA"]
    end
    DS --> POOL["79,926 条<br/>蛋白质-语言 QA 库"]
    Q["查询蛋白质序列"] --> CTX
    POOL --> CTX
    subgraph CTX["自适应上下文构造"]
        direction TB
        SEQ["序列同源检索"] --> MERGE["双语上下文整合"]
        TXT["文本相似检索"] --> MERGE
    end
    CTX --> ICL["双语上下文学习<br/>冻结 LLM 零训练推理"]
    Q --> ICL
    ICL --> OUT["蛋白质功能答案"]

关键设计¶

1. 双语数据集构建：先把 Swiss-Prot 的冗余和类别失衡治好，再让 LLM 出题

直接把 573,661 条 Swiss-Prot 注释翻成 QA 会有两个毛病——同源蛋白大量重复、功能类别极不平衡，喂给 LLM 当示例只会放大偏置。作者用三步流水线收拾这件事。第一步是 GO-DAG 剪枝分组：把基因本体的有向无环图当决策树来剪，用一个随深度自适应的最小支持阈值 \(m(d) = \lambda \cdot C_{tot} \cdot (1 + \beta d)\) 决定一个功能类节点要保留多少蛋白才不被砍掉（越深的层允许更小的支持），再配合子节点不平衡比 \(\rho(v)\) 把过度倾斜的分支压平。第二步是双语去冗余：先用 MMseqs2 以 70% 序列相似度阈值聚类，去掉序列层面的重复；再按蛋白质功能信息含量 \(\text{IC}_{\text{protein}}\) 在语义层面采样，避免一堆功能描述雷同的样本。第三步才让 DeepSeek-R1 出题，生成属性 QA（11,693 条）、知识 QA、描述性 QA、判断 QA（32,444 条）四类，最终得到 79,926 条蛋白质-自然语言三元组。这样既保住了功能多样性，又把规模和分布控制在适合做上下文示例的状态。

2. 自适应上下文构造：用序列和文本两把尺子同时挑示例

零训练框架里，LLM 能不能答对全看喂进去的示例像不像查询蛋白。只按氨基酸序列同源性挑，能找到结构近亲，却抓不住功能语义；只按文本相似度挑，描述对得上、序列模式却对不上。作者干脆做双标准检索：一边用 MMseqs2 算氨基酸序列同源性，捕获结构/功能层面的相似信号；一边算描述文本/QA 文本的相似度，提供语义接地。两路召回的候选交给上下文整合模块拼成一段连贯的双语上下文，和查询一起作为 in-context 示例送进冻结的 LLM。消融印证了这两把尺子是互补的——双标准比只用序列同源高 5.2%，比只用文本相似高 2.8%，缺一路都掉点。

3. 双语上下文学习：把"读蛋白质"做成一次第二语言习得

最后一步是把整套机制对应到第二语言习得的认知过程：LLM 已经掌握自然语言这门"母语"，作者只要在上下文里反复给它看"氨基酸序列 ↔ 功能描述"的配对（即双语语料），它就能像人类靠母语去推断外语生词那样，在上下文中推断出序列模式和功能之间的对应关系。整个推理不更新任何参数，查询蛋白连同构造好的双语上下文直接输入冻结模型即可输出功能答案——这也是它能在零训练下反超微调模型的关键。

损失函数¶

本方法为零训练框架，不涉及损失函数和梯度更新。评估使用 ROUGE-L 自动指标和人类评分（0-5分）。

实验关键数据¶

主实验：不同 LLM 上的 ROUGE-L 提升¶

模型	ProtDescribe (零样本→+上下文)	Protein2Text-QA (零样本→+上下文)	Mol-Inst. Avg (零样本→+上下文)
Qwen2.5-3B	18.45 → 27.32 (+8.87)	23.21 → 28.66 (+5.45)	18.54 → 21.35 (+2.81)
Mistral-7B	15.02 → 29.39 (+14.37)	20.97 → 28.59 (+7.62)	17.17 → 19.29 (+2.12)
Qwen3-14B	23.20 → 35.53 (+12.33)	21.02 → 25.93 (+4.91)	14.61 → 19.82 (+5.21)
GPT-4o	18.29 → 35.53 (+17.22)	20.84 → 26.86 (+6.02)	17.03 → 19.89 (+2.85)
ProLLaMA-7B (微调)	12.77	10.09	16.85
BioT5+ (微调)	9.97	6.96	3.60

冻结的通用 LLM + 上下文构造 显著超越 领域微调模型 ProLLaMA 和 BioT5+。GPT-4o 在 ProtDescribe 上提升高达 17.22%。

消融实验：双标准检索 vs 单标准¶

检索策略	ProtDescribe (avg)	Protein2Text-QA (avg)	Mol-Inst. (avg)
Dual（双标准）	32.73	26.22	19.14
SeqOnly（仅序列）	23.75 (-8.98)	22.77 (-3.45)	15.96 (-3.18)
QAOnly（仅文本）	29.20 (-3.53)	23.76 (-2.46)	16.77 (-2.37)

双标准检索在所有数据集上均优于单标准，序列同源性和文本相似度提供互补信号。

关键发现¶

模型规模越大获益越多: Qwen3-14B 和 GPT-4o 的提升最大，说明更强的上下文学习能力能更好地利用双语上下文
最优示例数量因任务而异: ProtDescribe 在 k=10-11 时最佳，Protein2Text-QA 在 k=3-4 时最佳
通用 LLM > 领域微调模型: ProLLaMA-7B (微调) 在 ProtDescribe 上仅 12.77，而 Qwen2.5-3B + 上下文达 27.32

亮点与洞察¶

"蛋白质即第二语言"的概念框架非常优雅，将第二语言习得理论与 ICL 有机结合
完全零训练——不修改模型参数，仅通过上下文工程就超越了微调模型，凸显了 ICL 的潜力
三步去冗余的数据构建流水线（GO剪枝→序列聚类→功能IC采样）值得其他生物信息数据集构建借鉴
双标准检索的消融分析清晰展示了两种信息源的互补性

局限性¶

ROUGE-L 主要衡量词汇重叠，无法充分评估生物学准确性和推理深度
上下文窗口限制了可提供的示例数量，对长序列蛋白质和复杂推理链可能不够
数据集依赖 DeepSeek-R1 自动生成，可能引入 LLM 的幻觉和偏差
未评估在蛋白质设计、突变分析等更高阶任务上的表现

评分¶

⭐⭐⭐⭐ (4/5)

创新性: ⭐⭐⭐⭐⭐ — "蛋白质即第二语言"概念新颖，零训练超微调模型的结果令人印象深刻
实验: ⭐⭐⭐⭐ — 覆盖多个LLM和数据集，消融充分，人类评估增强可信度
实用性: ⭐⭐⭐⭐ — 零成本部署，但依赖高质量双语数据集
写作: ⭐⭐⭐ — 框架阐述清晰但部分表格排版较密集