Sign Language Recognition in the Age of LLMs¶

会议: CVPR 2026
arXiv: 2604.11225
代码: https://github.com/VaJavorek/WLASL_LLM
领域: 人体理解
关键词: 手语识别, 视觉语言模型, 零样本, 美国手语, 基准测试

一句话总结¶

首个系统评估现代 VLM 在零样本孤立手语识别（ISLR）上能力的研究，发现开源 VLM 远落后于专用分类器，但大型商用模型（GPT-5）展现出令人惊讶的潜力。

研究背景与动机¶

领域现状：手语识别传统依赖任务专属的监督学习，需要大量标注数据和专用架构。同时 VLM 在多模态推理上展示了强大能力，但在手语上的应用几乎未被探索。

现有痛点：(1) 监督方法受限于标注数据和跨签名者/环境泛化；(2) VLM 主要在自然图像/视频上评估，手语的细粒度手势动作未被覆盖；(3) 缺乏 VLM 零样本手语识别的系统基准。

核心矛盾：VLM 通用性很强但未专门训练手语数据，手语的高维时空复杂性和微妙语言结构是否超出了 VLM 的零样本能力范围？

核心 idea：回到 ISLR 这个受控设置，系统评估多种 VLM 在零样本下的手语识别能力，分析提示策略和模型规模的影响。

方法详解¶

整体框架¶

这篇论文不提新模型，而是想搞清一个问题：在不做任何手语专门训练的前提下，今天的 VLM 到底能把一段孤立手语视频认出多少。它把战场放在 WLASL300（300 个美国手语词汇）这个受控基准上，让一批开源与商用 VLM 在统一的帧采样和提示模板下走三种评估范式——标准多类分类、零样本开放集预测（让模型直接说出这是哪个词）、零样本二元分类（给定一个候选词，判断视频里的手语是不是它）——再围绕提示信息量、帧数、模型规模做对照分析，最后用同义词容忍的方式做一次更公平的复评。

关键设计¶

1. 系统性多模型评估：把"VLM 能认出多少手语"变成可比的基准线

手语识别长期被任务专属的监督分类器垄断，而 VLM 这边几乎没人系统量过它们的零样本上限，导致大家对"通用模型能不能直接做手语"只有零散印象。这篇工作把 LLaVA-NeXT-Video、InternVL3.5、Qwen2.5/3-VL、BAGEL 这些开源模型和 GPT-5、Gemini 这些商用模型放进同一套流程：相同的帧采样、相同的提示模板、相同的 WLASL300 词表。统一变量之后，模型之间的差距才真正可比——结果开源 VLM 普遍卡在 3% 以下（接近随机），而 GPT-5 能冲到 14.67%，这条横向基准线第一次让"差距来自规模还是来自方法"有了可量化的答案。

2. 多层级提示策略：用逐步收紧的输出空间，逼问性能瓶颈到底在哪

VLM 和分类器有个本质区别：分类器只在 300 个固定类别里选，而 VLM 的输出空间是整个自然语言，它可能答出一个根本不在词表里的词。所以光看一个准确率数字说明不了问题——你不知道模型是"看不懂手语"还是"看懂了但说跑题了"。为此论文把提示按信息量排成一条阶梯：完全开放（自由说出任意词）→ 告知数据集名（提示答案在 WLASL 范围内）→ 直接给候选词汇列表（把输出空间压到有限集合）。GPT-5 的准确率随着约束收紧而单调上升，到给候选列表时显著提升，说明相当一部分失败其实是输出空间太大造成的，而非完全的视觉盲区。在这之上再加一层二元分类——给定一个词，只问"是/否匹配"——GPT-5 拿到约 30% 的精确度，进一步证明模型确实捕获了部分手语到文本的语义对齐。

3. 同义词感知评估：不让"答对了但用词不同"被算成错

开放式生成还有个隐藏的不公平：模型可能输出一个语义完全正确、只是和 ground truth 用词不同的答案（比如 ground truth 是 "happy"，模型答 "glad"），严格字符串匹配会把这种情况判错，从而系统性低估 VLM 的真实理解力。论文的做法是给每个 ground truth 词从 WordNet 取出同义词集合，预测命中其中任何一个都算正确。这一处理把 GPT-5 的 Top-1 从 14.67% 抬到 17.96%，差值本身就量化了"被用词差异冤枉掉"的那部分——它让评估从"考字面"转向"考语义",更贴合 VLM 实际的工作方式。

损失函数 / 训练策略¶

纯零样本评估，全程不更新任何参数，因此没有训练目标或损失函数。所有差异只来自提示设计、帧采样和模型本身。

实验关键数据¶

主实验¶

模型	Top-1	Top-1+同义词	说明
专用 SOTA (DSLNet)	89.97%	-	有监督训练
GPT-5 (64帧)	14.67%	17.96%	商用最佳
Qwen3-VL-30B	2.40%	3.59%	开源最佳
LLaVA-NeXT-7B	0.30%	0.45%	开源最差

消融实验¶

提示策略	GPT-5 准确率	说明
开放集	14.67%	无约束
提供数据集名	略提升	约束输出空间
提供候选列表	显著提升	最强约束
二元分类	~30% 精确度	部分视觉-语义对齐存在

关键发现¶

开源 VLM 在零样本 ISLR 上几乎完全失败（< 3%），远低于专用分类器
GPT-5 的表现远超开源模型，说明模型规模和训练数据多样性至关重要
二元分类实验表明 VLM 确实捕获了部分手语-文本语义对齐
某些模型（如 Nemotron）会诚实地回答"不知道"，拉低了测量性能但反映了真实能力

亮点与洞察¶

诚实的负面结果：不回避 VLM 在手语上的严重不足，为社区提供了现实基准
规模效应明显：GPT-5 vs 开源模型的巨大差距说明手语可能需要更多视觉-运动预训练数据

局限与展望¶

仅测试 WLASL300，未覆盖更大词汇或连续手语
商用 API 的延迟影响大规模评估可行性
未来可探索少样本微调 VLM 或专门的手语视觉编码器

评分¶

新颖性: ⭐⭐⭐ 评估研究本身不算新方法但填补了空白
实验充分度: ⭐⭐⭐⭐⭐ 多模型、多提示、多评估范式非常全面
写作质量: ⭐⭐⭐⭐ 结构清晰，分析深入
价值: ⭐⭐⭐⭐ 为手语 AI 研究提供了重要的 VLM 基准线