🧑 人体理解¶
📷 CVPR2026 · 174 篇论文解读
📌 同领域跨会议浏览: 🧪 ICML2026 (4) · 💬 ACL2026 (3) · 🔬 ICLR2026 (8) · 🤖 AAAI2026 (20) · 🧠 NeurIPS2025 (21) · 📹 ICCV2025 (41)
🔥 高频主题: 人脸/视线 ×18 · 人体姿态 ×17 · 重识别 ×13 · 虚拟人 ×11 · 扩散模型 ×11
- A Two-Stage Dual-Modality Model for Facial Expression Recognition
-
提出两阶段双模态面部表情识别框架:Stage I 通过填充感知增强和训练期 MoE 头在外部数据集上适配 DINOv2 编码器;Stage II 通过多尺度面部裁剪、Wav2Vec 2.0 音频特征提取和门控融合实现帧级音视觉表情分类,在 ABAW 2026 竞赛中取得 0.5368 Macro-F1。
- ActAvatar: Temporally-Aware Precise Action Control for Talking Avatars
-
ActAvatar 用「结构化文本提示 + 相位感知跨注意力」让说话人视频在指定时间窗口精确做出指定动作,再配合「按层深递增的音频影响」和「两阶段训练」,在不依赖姿态骨架的前提下同时保住唇音同步、动作准确度和画质,5B 模型达到 14B 级效果。
- Active Inference for Micro-Gesture Recognition: EFE-Guided Temporal Sampling and Adaptive Learning
-
提出 UAAI 框架,首次将主动推理(Active Inference)引入微手势识别,通过 EFE 引导的时间帧选择 + 空间注意力 + UMIX不确定性感知增强,在SMG数据集RGB模态上达到63.47%,大幅超越传统RGB方法。
- Active Intelligence in Video Avatars via Closed-loop World Modeling
-
针对当前视频数字人"只会被动跟随语音/姿态、缺乏自主目标驱动"的问题,本文提出 L-IVA 任务(把数字人控制建模成以 I2V 生成模型为环境模拟器的 POMDP)和 ORCA 框架——用「观察-思考-行动-反思」(OTAR) 闭环对抗生成随机性、用 System 2/System 1 双系统分层完成开放域规划与精确落地,在 100 个任务的基准上把平均任务成功率做到 71.0%,显著超过开环、反应式与无反思基线。
- All in One: Unifying Deepfake Detection, Tampering Localization, and Source Tracing with a Robust Landmark-Identity Watermark
-
提出 LIDMark,首个将 deepfake 检测、篡改区域定位和源追踪统一到单一主动取证框架中的方法——通过嵌入 152 维 Landmark-Identity 水印(136D 面部关键点 + 16D 源 ID),利用内在/外在一致性实现三合一取证,PSNR/SSIM 和检测精度均超越现有方法。
- Anatomical Domain Shifts: Test-time Heterogeneous Adaptation for 3D Human Pose Prediction
-
针对 3D 人体姿态预测的持续测试时自适应(CTTA),本文指出"域漂移其实集中在个别身体部位、而非全身均匀发生"这一被忽视的事实,提出 TT-HA:把模型参数按左右臂、左右腿、躯干拆成五个解剖学子集,用 IN 统计量 + EMD 在线度量每个部位的域变化,再据此对小漂移部位做自监督微调、对突变部位只回滚该部位参数到源模型,从而在全身 MPJPE 降 4.7% 的同时让四肢误差多降 9.2%。
- ARMFlow: AutoRegressive MeanFlow for Online 3D Human Reaction Generation
-
把"单步生成"的 MeanFlow 范式首次引入人体动作领域,用一个"因果上下文编码器 + 轻量 MLP 速度预测器"的自回归结构,配合自举历史训练(BSCE)抑制误差累积,让在线 3D 人体反应生成在单次推理内完成,FID 比已有在线方法降约 30%,速度还最快。
- AssistMimic: Physics-Grounded Humanoid Assistance via Multi-Agent RL
-
首个在物理仿真中实现接触式人-人辅助行为模仿学习的多智能体RL框架,通过运动先验初始化、动态参考重定向和接触促进奖励使MARL在高接触设置中可行。
- AudioAvatar: Personalized Audio-driven Whole-body Talking Avatars
-
AudioAvatar 用一张人像照片重建一个 canonical 的 3D 高斯全身数字人,并让音频直接调制每个高斯粒子的运动轨迹(跳过"音频→参数化姿态→渲染"这条有损中间链),再借大型音频驱动视频扩散模型做特征蒸馏,从而在嘴形同步、面部微表情和手势自然度上全面超过姿态驱动的基线。
- Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation
-
把"说话人头像生成"从单向播报升级成真正的双向对话:用因果 diffusion forcing 在运动隐空间里边收用户音频/动作、边自回归生成 avatar 头部运动,配合 KV cache 把延迟压到约 500ms(比基线快 6.8×),再用"丢掉用户条件造负样本"的免标注 DPO 让 avatar 学会点头、跟笑等富有表现力的反应,人类评测中超 80% 偏好率胜过最强基线。
- AVATAR: Reinforcement Learning to See, Hear, and Reason Over Video
-
提出AVATAR框架,通过离策略训练架构(分层重放缓冲区)和时间优势塑形(TAS,U形加权强调推理链首尾)两个核心组件改进GRPO,解决其数据低效、优势消失和均匀信用分配三大问题,在音视频推理基准上显著超越GRPO基线。
- BarbieGait: An Identity-Consistent Synthetic Human Dataset with Versatile Cloth-Changing for Gait Recognition
-
针对真实世界几乎不可能采集"同一人穿上百种衣服"的步态数据这一痛点,本文把 521 个真实受试者一一映射进虚拟引擎、为每人随机生成 100 套换装,构建出身份一致的合成步态数据集 BarbieGait,并配套提出衣物不变特征基线 GaitCLIF,在 BarbieGait 及 CCPG / SUSTech1K / Gait3D / GREW 上均拿到 SOTA。
- Beyond Binary Contrast: Modeling Continuous Skeleton Action Spaces with Transitional Anchors
-
针对自监督骨架动作识别中"二元对比"把动作切成孤立簇、边界僵硬的问题,TranCLR 在动作之间合成"过渡锚点"作为流形正则项,并用三级几何流形校准把表征空间从离散点云重塑成连续平滑流形,在 NTU/PKU-MMD 上线性评估、迁移、检索全面 SOTA,且把置信度标定误差 ECE 从 ~5.6% 砍到 0.65%。
- Beyond Scanpaths: Graph-Based Gaze Simulation in Dynamic Scenes
-
把驾驶员注视建模成一个自回归动力系统:将每一帧交通场景编码成「以注视为中心」的异构时空图,用关系亲和力 Transformer(ART)建模注视与交通物体的交互,再用对象级混合密度网络(ODN)预测下一步注视分布并自回归地展开成连续注视轨迹,从而用同一个模型同时生成 SOTA 级别的注视时间序列、扫视路径与显著图。
- Beyond Single-View Sufficiency: CVBench for Cross-View Human Understanding
-
针对现有 MLLM 基准默认"单视角足够"、只奖励单图识别的漏洞,本文构造 CVBench——3000 道每题都被强制验证"单视角不可解、跨视角才可解"的人体理解题(12 个时空任务、4 路同步相机),评测发现最强模型也落后人类近 50 分,并诊断出贯穿所有模型的系统性失败机制"单视角偏置"。
- Beyond Static Frames: Temporal Aggregate-and-Restore Vision Transformer for Human Pose Estimation
-
在不改动 ViTPose 朴素 ViT 主干和轻量解码器的前提下,TAR-ViTPose 用「关节为中心的时序聚合(JTA)+ 全局恢复注意力(GRA)」即插即用地把相邻帧的关节特征对齐聚合并注回当前帧,使视频 2D 姿态估计在 PoseTrack2017 上比单帧 ViTPose 提升 +2.3 mAP,同时跑得更快(ViT-S 达 413 fps)。
- Bi-directional Autoregressive Diffusion for Large Complex Motion Interpolation
-
ARVFI 把视频插帧从"一次性生成所有中间帧"改成"从两端输入帧向中间逐帧自回归生成",并用 DINOv3 特征替代光流作为运动表征,在大幅复杂运动下既显著提升插帧精度(FID 全面领先)又把采样步数压到 15 步、比 backbone Wan 快约 3 倍。
- BIT: Matching-based Bi-directional Interaction Transformation Network for Visible-Infrared Person Re-Identification
-
针对可见光-红外行人重识别(VI-ReID)中模态鸿沟大、红外样本稀少的问题,BIT 抛弃"把两模态特征对齐到共享空间"的老套路,改用成对匹配(matching-based)范式:先用双向交叉交互模块让一对可见-红外图像互相吸收互补信息,再用查询感知打分模块在 patch 级别挖掘可靠的互惠对应关系算出最终相似度,在 SYSU-MM01 / LLCM / RegDB 三个基准上刷到 SOTA。
- BoostSLT: Boosting Sign Language Translation via a Plug-and-Play Diffusion-Based Semantic Enhancer
-
BoostSLT 在任意手语翻译模型外面套一层「先按动作能量把长视频切成语义段、各段独立翻译、再用扩散语言模型把碎片译文重建成连贯长句」的即插即用模块,不依赖 gloss 标注就显著提升了长句、篇章级手语翻译的 BLEU 与 ROUGE。
- Breaking Spurious Correlations: Uncertainty-Driven Causal Transformers for AU Detection
-
针对面部动作单元(AU)检测中数据少、类别不均衡、标签噪声和混杂偏差的问题,本文提出 UDCT 框架:把 Transformer 注意力权重建模成高斯分布以显式表达不确定性,用不确定性给样本损失重加权来抗噪声/不均衡,再用 per-AU 的因果后门调整切断混杂因子造成的虚假 AU 关联,在 BP4D / DISFA 上取得有竞争力且更鲁棒的结果(DISFA 平均 F1 67.36%)。
- Bézier Degradation Modeling for LiDAR-based Human Motion Capture
-
针对 LiDAR 人体动捕在稀疏点云、严重遮挡下抖动甚至失败的问题,本文用可逐级降阶的贝塞尔曲线显式建模关节轨迹,配合「时间尺度 Transformer(TMT)+ 多级运动聚合器(MMA)」做由粗到细的渐进重建,在 4 个主流基准上同时拿下精度(MPJPE)和时序连续性(Accel Err)的 SOTA。
- CIGPose: Causal Intervention Graph Neural Network for Whole-Body Pose Estimation
-
提出因果干预图姿态估计框架 CIGPose,通过结构因果模型识别视觉上下文混杂因素,利用预测不确定性定位受混杂影响的关键点并用学习得到的上下文无关规范嵌入替换,再经层次图神经网络建模骨骼解剖约束,在 COCO-WholeBody 上达到 67.0% AP 的新 SOTA。
- CLEP: Contrastive Language-Pose Pretraining
-
CLEP 把 CLIP 式对比学习搬到「3D 人体姿态 ↔ 自然语言」上:用分层姿态编码器 HierFormer(关节/肢体/全身三级 + 跨尺度注意力融合 CSAF)配上自建的 200 万对 CLEP-2M 数据集做对比预训练,在 PoseScript-H 零样本检索上把 mRecall 从 5.9 拉到 34.8(近 6 倍),并在姿态生成、姿态编辑等下游任务上全面超越基线。
- CLEX: Complementary Label Exchange Learning for Noisy Facial Expression Recognition
-
CLEX 通过在原图与增广图两个分支之间随机交换一部分非目标类(non-target)的 logit,再做尺度不变归一化,并用「互补抑制损失」专门压制随机保留的那些非目标类响应,从而在不需要干净数据、不需要噪声先验的前提下抑制虚假激活,在 RAF-DB / AffectNet / FERPlus 三个野外 FER 数据集的各种噪声率下都刷到 SOTA。
- COG: Confidence-aware Optimal Geometric Correspondence for Unsupervised Single-reference Novel Object Pose Estimation
-
提出 COG 框架,将跨视图对应关系建模为置信度感知的最优传输(OT)问题,通过预测逐点置信度作为传输边际约束来抑制非重叠区域和离群点,实现无监督条件下媲美有监督方法的单参考图像新物体6DoF位姿估计。
- Composite-Attribute Person Re-Identification via Pose-Guided Disentanglement
-
针对「参考图 + 短关键词属性」这种自然但模糊的查询,本文提出 CA-ReID 新任务,并用姿态引导的「部位感知表征(PAR)」把文本属性绑定到对应身体区域、再配合「稠密解耦损失(DDL)」把身份和属性维度拆开,在自建的组合属性基准上把 Hard 查询的 Recall@1 提了最多 +17%。
- CoordSpeaker: Exploiting Gesture Captioning for Coordinated Caption-Empowered Co-Speech Gesture Generation
-
CoordSpeaker 先用一个"手势 captioning"框架给没有文本标注的手势数据离线生成多粒度描述文本,再用一个带「层级化条件注入去噪器」的条件潜在扩散模型,把语音和文本两路异质条件协同起来,从而生成既跟语音节奏对齐、又能听从文本指令(如"边说边鞠躬")的全身说话人手势。
- COPE: Consistent Occlusion and Prompt Enhancement Network for Occluded Person Re-identification
-
COPE 用三个轻量模块解决遮挡 ReID 的"特征干扰"与"信息丢失"两大顽疾——跨身份施加相同遮挡并约束遮挡区特征一致(CICO)、用 CLIP 文本提示定位前景再随机填充背景(PBF)、推理时用前景完整度打分对检索做后处理重排(PSS),在 Occluded-Duke 上达到 Rank-1 约 82%、mAP 约 75–76%,且几乎不增加推理开销。
- D³FER: Dual Channel and Dual Branch Network for Robust Facial Expression Recognition under Dual Challenges
-
针对野外面部表情识别同时遭遇「视觉扰动(遮挡/姿态)+ 标签噪声」的复合难题,D³FER 用弱/强双通道增强喂一个 Query-Key 动量双分支,并在一个跨批次的动态队列里既缓存置信度做自适应阈值的样本过滤与标签校正、又缓存特征做监督对比学习,推理时用更平滑的 Key 分支,在 RAF-DB/FERPlus/AffectNet 及其遮挡/姿态/噪声子集上全面刷新 SOTA。
- Decoupled Generative Modeling for Human-Object Interaction Synthesis
-
DecHOI 把"人-物交互合成"拆成两个轻量扩散专家——轨迹生成器先无需人工路标地规划人和物体的全局路径,动作生成器再在路径条件下补全细粒度全身动作,并用一个只盯手脚末端关节的对抗判别器拉近接触真实度,在 FullBodyManipulation 和 3D-FUTURE 上多数指标超过 CHOIS/HOIFHLI,且支持遇到移动障碍时实时重规划。
- DeX-Portrait: Disentangled and Expressive Portrait Animation via Explicit and Latent Motion Representations
-
用「显式全局变换表示头部姿态 + 隐式 latent code 表示面部表情」的混合运动表示,配合双分支姿态注入与渐进式混合 CFG,让单图肖像动画首次做到姿态与表情高保真解耦控制,支持只改姿态或只改表情的精细编辑。
- Differentially Private 2D Human Pose Estimation
-
首个面向 2D 人体姿态估计的差分隐私统一框架:把"梯度子空间投影"和"特征级差分隐私(只给原图私有特征加噪)"两种降噪机制拼成 Feature-Projective DP,在形式化隐私保证下大幅缩小与非隐私模型的精度差距(ε=0.8 时 MPII 达 82.61% PCKh@0.5,恢复了 73% 的隐私损失)。
- DyaDiT: A Multi-Modal Diffusion Transformer for Socially Favorable Dyadic Gesture Generation
-
DyaDiT 是一个面向双人对话场景的多模态扩散 Transformer,用一个正交化交叉注意力模块把两路重叠音频解纠缠、再叠加关系/人格等社交条件和运动字典先验,生成既贴合对话动态又符合社交语境的上半身手势,客观指标和用户偏好都超过现有双人手势方法。
- Dynamic Label Noise Suppression with Optimal Teacher Pool for Facial Expression Recognition
-
针对面部表情识别(FER)数据集中普遍存在的噪声标签,本文提出 OTP-NS 框架:用一个"最优教师池"替代单一 EMA 教师以打破师生参数耦合与噪声累积,再叠加样本级的相似度感知标签平滑(SALS)和质心置信加权(CWL)两个抑噪部件,在多个 benchmark 的各噪声比例下超过现有 SOTA,且推理零额外开销。
- Dynamic Magic: Unleashing Restricted Knowledge for Lifelong Person Re-Identification
-
针对终身行人重识别(LReID)中固定网络架构"塞不下"持续累积知识、导致灾难性遗忘的问题,本文提出动态扩展框架 VIA:用级联双 LoRA 适配器给每个新域单独建模、用共享专家池路由复用跨域共性、再用域相似度自适应调节编码器学习率,最终在 5 个见过域上把平均 mAP 从 baseline 的 66.4% 拉到 77.7%。
- E-3DPSM: A State Machine for Event-Based Egocentric 3D Human Pose Estimation
-
提出 E-3DPSM,一种基于事件相机的自我中心 3D 人体姿态状态机,将姿态估计建模为连续时间状态演化过程,通过双向 SSM 时序建模和可学习的卡尔曼式融合模块融合直接预测与增量预测,实现 80Hz 实时推理,MPJPE 降低 19%、时序稳定性提升 2.7 倍。
- Egocentric Visibility-Aware Human Pose Estimation
-
针对头戴设备第一视角人体姿态估计中"关键点经常看不见"的痛点,本文构建了首个带可见性标注的大规模真实数据集 Eva-3M(300 万帧、43.5 万帧可见性标签),并提出 EvaPose——显式预测每个关键点可见性、并用可见性给损失加权,把可见关键点的 MPJPE 从 FRAME 的 49.8mm 降到 34.2mm。
- EgoPoseFormer v2: Accurate Egocentric Human Motion Estimation for AR/VR
-
提出 EgoPoseFormer v2 (EPFv2),通过端到端 Transformer 架构(单一全局查询 + 因果时序注意力 + 条件多视图交叉注意力)和基于不确定性蒸馏的自动标注系统,在 EgoBody3M 基准上以 0.8ms GPU 延迟实现了自我中心 3D 人体运动估计的 SOTA 精度(MPJPE 4.02cm,比前作提升 15-22%)。
- EventGait: Towards Robust Gait Recognition with Event Streams
-
EventGait 用事件相机做步态识别,提出"短时片段走动态流、长时片段走静态流"的双流框架:动态流用混合脉冲专家(MoSE)以不同膜时间常数的脉冲神经元自适应捕捉多时间尺度运动,静态流用 DINOv2 当老师做跨模态结构对齐(CroSA)把稠密形状先验蒸馏进稀疏事件,在合成与真实事件步态基准上既追平相机方法、又在弱光下大幅超越(夜晚 +37.3%)。
- FaceCoT: Chain-of-Thought Reasoning in MLLMs for Face Anti-Spoofing
-
构建了首个面向人脸反欺骗(FAS)的大规模 VQA 数据集 FaceCoT(108 万样本,覆盖 14 种攻击类型),包含六层级 CoT 推理标注(从全局描述到局部推理到最终结论);同时提出 CoT-Enhanced Progressive Learning (CEPL) 两阶段训练策略,在 11 个基准数据集上平均 AUC 提升 4.06%、HTER 降低 5.00%,超越所有 SOTA 方法。
- FisherPoser: Human Motion Estimation from Sparse Observations with Hierarchical Region-Wise Fisher-Matrix Uncertainty Modeling
-
FisherPoser 把"用头显+两手柄三个 6-DoF 信号估全身姿态"建模成 SO(3) 流形上的概率推断:每个关节输出一个 Matrix-Fisher 分布而非单一旋转,再用"五分区 token + 沿肢体链父到子递归"把姿态和不确定性逐级传递,在 AMASS 稀疏 VR benchmark 上 MPJPE/MPJRE 全面刷新 SOTA,同时给出校准良好的逐关节置信度。
- FlexAvatar: Learning Complete 3D Head Avatars with Partial Supervision
-
提出 FlexAvatar,通过引入可学习的"偏置吸收器"(bias sinks)token 统一单目和多视角数据训练,解决了驱动信号与目标视角的纠缠问题,从单张图像生成完整、高质量、可动画的 3D 头部化身。
- FloodDiffusion: Tailored Diffusion Forcing for Streaming Motion Generation
-
FloodDiffusion 把视频领域的 diffusion forcing 改造(tailor)到文本驱动的流式人体动作生成上,通过"下三角时间调度 + 活动窗双向注意力 + 帧级时变文本条件"三处关键修改,首次让 diffusion forcing 框架在 HumanML3D 上做到 FID=0.057,达到流式 SOTA 并逼近非流式方法。
- FLOW: Optimal Transport-Driven Feature Warping for Generalized Remote Physiological Measurement
-
FLOW 把端到端 rPPG 模型跨域时的"分布漂移"看成一个特征级最优传输(OT)问题——先用轻量时序细化模块(TRM)把不同域的时序特征统一去噪,再用基于可学习原型库的跨时序最优传输(PCOT)做软对齐,配两条正则项,在四个 rPPG 基准上以即插即用、骨干无关的方式刷到跨域 SOTA。
- FlowPalm: Optical Flow Driven Non-Rigid Deformation for Geometrically Diverse Palmprint Generation
-
FlowPalm 用 RAFT 光流从真实掌纹对里统计出非刚性形变场、过滤成"形变库",再在扩散采样里分三阶段把形变注入主线(crease warp)和纹理(warped noise),生成几何多样且身份一致的合成掌纹——只用合成数据训练的识别模型(85.20% TAR)反超真实数据(73.59%)。
- FMPose3D: monocular 3D pose estimation via flow matching
-
把单目 2D-to-3D 姿态提升重新表述成"条件分布转运"问题,用 Flow Matching 学一个 ODE 速度场,只需 3 步积分就能把高斯噪声搬运到合理 3D 姿态分布;再用基于重投影误差的后验期望聚合(RPEA)把多个假设融成一个估计,在 Human3.6M / MPI-INF-3DHP 与动物数据集上都超过扩散类方法,且推理快约 5 倍。
- Focal–General Diffusion Model with Semantic Consistent Guidance for Sign Language Production
-
针对手语生成(SLP)中 Gloss-to-Pose 阶段「只建模全局、忽略关节级细粒度依赖」的通病,本文提出 Focal–General 扩散模型(FGDM):用「先聚焦关节、再统筹全局」的两段式去噪结构,配上逐帧自适应的图卷积 ASGCN 和把 CTC 语义监督注入扩散训练的 SCG 机制,在 PHOENIX14T 和 USTC-CSL 上全面刷新 SOTA。
- Forecasting 3D Scanpaths in Egocentric Video
-
本文首次把"预测人接下来往哪看"从 2D 图像扩展到第一视角视频,定义了在 3D 世界坐标系下预测未来注视点序列(3D scanpath)这一新任务,并提出一个以"最后一帧相机位姿"为标准参照系、融合视频/头部位姿/历史注视的 Transformer 架构,在 Aria Digital Twin 上建立了首个 baseline。
- FrankenMotion: Part-level Human Motion Generation and Composition
-
针对文本到人体运动生成"只能整段或动作级控制、管不了单个身体部位"的痛点,本文先用 LLM 智能体(FrankenAgent)把已有 mocap 数据集自动标注成"序列 / 原子动作 / 身体部位"三级、且时间对齐的细粒度数据集 FrankenStein,再训练一个基于扩散模型的 FrankenMotion,让每个身体部位由各自的逐帧文本提示驱动,从而能组合出训练中没见过的复杂动作(如"坐着同时抬左臂")。
- A2P: From 2D Alignment to 3D Plausibility for Occlusion-Robust Two-Hand Reconstruction
-
解耦双手重建为 2D 结构对齐 + 3D 空间交互对齐:Stage 1 用 Fusion Alignment Encoder 隐式蒸馏 Sapiens 的关键点/分割/深度三种 2D 先验(推理时免基础模型,56fps),Stage 2 用穿透感知扩散模型 + 碰撞梯度引导将穿透姿态映射到物理合理配置——InterHand2.6M 上 MPJPE 降至 5.36mm(超 SOTA 4DHands 2.13mm),穿透体积降 7 倍。
- From Intuition to Investigation: A Tool-Augmented Reasoning MLLM Framework for Generalizable Face Anti-Spoofing
-
提出 TAR-FAS 框架,首次将人脸反欺骗(FAS)任务重构为 Chain-of-Thought with Visual Tools(CoT-VT)范式,让 MLLM 在推理过程中自适应调用外部视觉工具(LBP/FFT/HOG等),从"直觉判断"升级为"精细调查",在 1-to-11 跨域协议上取得 SOTA。
- FusionAgent: A Multimodal Agent with Dynamic Model Selection for Human Recognition
-
本文提出 FusionAgent,一个基于多模态大语言模型(MLLM)的智能体框架,用于全身生物特征识别中的动态样本级模型选择——将每个专家模型(人脸识别/步态识别/行人重识别)封装为工具,通过强化微调(RFT)让 agent 学会根据每个测试样本的特征自适应选择最优模型组合,配合新提出的 ACT 分数融合策略,显著超越现有 SOTA 融合方法。
- Gaussian-Mixture Latent Flow for Stochastic 3D Human Motion Prediction
-
针对随机人体运动预测里"为了准确度和多样性牺牲合理性、且无法可靠量化不确定性"两个老问题,本文在隐空间里用 EM 学一个数据驱动的高斯混合先验把不同运动模式拆开,再用一个全可逆的隐空间 Flow Matching(配骨架感知 Transformer)做预测,从而既能拿到精确的对数似然作为不确定性度量,又在 Human3.6M / AMASS 上同时刷到 SOTA 的准确度与合理性。
- Gaze Target Estimation Anywhere with Concepts
-
本文提出"可提示注视目标估计(PGE)"这一新任务——用一句自然语言或一个坐标点指定画面里的某个人,模型端到端直接吐出他注视位置的热图,并配套了 120K 概念标注数据集 Gaze-Co 和首个 PGE 模型 GazeAnywhere,在多个基准上达到 SOTA。
- GazeOnce360: Fisheye-Based 360° Multi-Person Gaze Estimation with Global-Local Feature Fusion
-
本文提出 GazeOnce360,一个端到端的双分辨率 CNN 模型,用于从单个朝上放置的桌面鱼眼相机进行 360° 多人视线方向估计,同时构建了首个面向该场景的大规模合成数据集 MPSGaze360,在精度和速度两方面均大幅超越现有多阶段方法 GAM360。
- GazeOnce360: Fisheye-Based 360° Multi-Person Gaze Estimation with Global-Local Feature Fusion
-
用一台朝上放在桌面的鱼眼相机一次性拍下 360° 全场景,GazeOnce360 用旋转卷积 + 眼部关键点监督 + 全局/局部双分辨率交叉注意力,端到端地同时检测并回归多人的 3D 视线方向,在自建合成数据集 MPSGaze360 上把视线误差从多阶段管线的 18.96° 降到 10.39°、速度提升约 4 倍。
- GazeShift: Unsupervised Gaze Estimation and Dataset for VR
-
针对 VR 头显「离轴近眼红外相机 + 没有可靠标注」的困境,本文一边发布首个大规模离轴注视数据集 VRGaze(68 人、210 万张),一边提出 GazeShift——用「同一只眼睛不同时刻两帧之间的注视重定向」作为无监督代理任务,靠标准交叉注意力把注视和外观解耦,再用模型自身注意力图当软掩膜聚焦眼区,仅 34.2 万参数 / 55 MFLOPs、头显 GPU 上 5ms 推理,VRGaze 上达到 1.84° 误差,接近有监督水平。
- GenHOI: Towards Object-Consistent Hand-Object Interaction with Temporally Balanced and Spatially Selective Object Injection
-
GenHOI 给预训练视频生成大模型(Wan-14B-I2V)外挂一个仅 157M 参数(约 0.95%)的轻量模块,用 Head-Sliding RoPE(时间上把参考物体 token 的影响均摊到每一帧)+ 空间注意力门控(空间上把物体条件注意力聚焦到手物交互区),在不破坏底模泛化能力的前提下,让野外场景下的手-物交互视频既动作自然又跨帧保持物体外观一致,在自重演/跨重演各指标上显著超过 VACE、HOI-Swap 等 SOTA。
- Geometric Neural Distance Fields for Learning Human Motion Priors
-
本文提出 NRMF(Neural Riemannian Motion Fields),把人体运动的「姿态、速度、加速度」三阶动力学分别建模成三个条件神经距离场的零水平集,并配套一个几何投影算法和一个几何积分器,使得用同一个无条件先验就能稳健地完成去噪、补全(in-betweening)、单目拟合和生成等多种任务,在 AMASS/3DPW/PROX 等多个 benchmark 上全面超过 VAE 和扩散类先验。
- Goldilocks Test Sets for Face Verification
-
当主流人脸验证测试集已被刷到饱和(LFW 99.8%)时,本文不靠降画质/加遮挡造难度,而是从受控采集的高质量人脸库里挖出三类"自然但难"的图像对——大胡须差异(Hadrian)、强曝光差异(Eclipse)、同卵双胞胎(ND-Twins),并配一套"Goldilocks 三规则"保证测试集难得恰到好处,结果难度反超那些靠加合成口罩、降分辨率的人工 benchmark。
- HamiPose: Hamiltonian Optimization for Unsupervised Domain Adaptive Pose Estimation
-
针对合成→真实域姿态估计中"源监督梯度 vs 目标一致性梯度"互相打架导致的训练震荡,HamiPose 先按关键点把目标梯度正交分解、用置信度门控只放行不冲突的成分,再用带辛积分器的哈密顿优化器给更新加上"受控动量"压住高频抖动,在多个 UDA 姿态基准上拿到 SOTA。
- HandDreamer: Zero-Shot Text to 3D Hand Model Generation
-
提出 HandDreamer,首个从文本提示零样本生成 3D 手部模型的方法,通过 MANO 初始化、骨架引导扩散和校正手形损失解决 SDS 中的视图不一致和几何畸变问题。
- HandX: Scaling Bimanual Motion and Interaction Generation
-
构建了 HandX——一个统一的双手运动生成基础设施(包含 54.2 小时运动数据 + 48.5 万条细粒度文本标注),提出解耦式自动标注策略(运动学特征提取 + LLM 推理生成描述),并基准测试了扩散和自回归两种生成范式,展示了明确的数据和模型 scaling 趋势。
- Hierarchical Enhancement of Semantic Priors for Disentangled Text-Driven Motion Generation
-
HESP 用一个把潜空间显式拆成多个语义子流形的自适应高斯 VAE(AG-VAE),再配合动态跨模态记忆(DCMM)和分层跨模态注意力(HCA),让文本驱动的 3D 人体动作生成更可控、更可解释,在 HumanML3D 和 KIT-ML 上的 FID、R-Precision 都优于 SALAD、MoMask、MDM 等基线。
- How to Take a Memorable Picture? Empowering Users with Actionable Feedback
-
定义了记忆性反馈(MemFeed)新任务,提出 MemCoach——一种 training-free 的 MLLM 激活导向方法,通过教师-学生策略将记忆性感知知识注入模型激活空间,使 MLLM 能生成提升照片记忆性的自然语言可操作建议。
- HSI-GPT2: A Dual-Granularity Large Motion Reasoning Model with Diffusion Refinement for Human-Scene Interaction
-
面向"统一理解 + 生成"人-场景交互(HSI)的大模型 HSI-GPT2,用双粒度运动 tokenizer把动作拆成语义码本与细节码本两路、用LLM 当语义规划器 + 扩散解码器当去 token 器提升物理保真、再配一套运动思维链(MoCoT)数据引擎 + GRPO 强化学习注入分步推理,在 HumanML3D / HUMANISE 上的生成、描述、补全任务全面超越 HSI-GPT。
- HUM4D: A Dataset and Evaluation for Complex 4D Markerless Human Motion Capture
-
提出 HUM4D 数据集,包含复杂单人和多人运动场景(快速运动、遮挡、身份交换),提供同步多视角 RGB/RGB-D 序列、精确 Vicon 标记运动捕捉真值和 SMPL/SMPL-X 参数,基准测试揭示 SOTA 无标记方法在真实条件下的显著性能退化。
- Humanoid-GPT: Scaling Data and Structure for Zero-Shot Motion Tracking
-
把人形机器人全身运动跟踪重新表述为 GPT 式的因果序列建模问题:先在约 20 亿帧重定向运动语料上聚类训练数百个 PPO 专家,再用 DAgger 把它们蒸馏进一个带因果掩码的 Transformer,从而在真实 Unitree-G1 上同时实现高动态敏捷性和对未见动作的零样本跟踪,并给出了运动跟踪任务的 scaling law。
- HUMAPS-4D: A Multimodal Dataset for HUman Motion Analysis with Physiological and Semantic informations
-
HUMAPS-4D 是一个把"光学动捕 + 多视角 RGB + IMU + 足底压力鞋垫 + 表面肌电(sEMG) + 人体测量 + 三层语义标注"全部时间同步在同一标准协议下的大规模人体运动数据集(32 人 × 30 动作 × 10 次 × 14 小时 = 576 万帧),目标是让"不依赖摄像头、靠足底压力等生理信号推断全身 3D 姿态/动作"成为可严谨 benchmark 的研究方向。
- HyperGait: Unleashing the Power of Parsing for Gait Recognition in the Wild via Hypergraph
-
HyperGait 用超图卷积把人体解析序列(gait parsing sequence)里身体部件之间、以及时间帧段之间的"高阶非线性关联"挖出来,仅以单一解析模态为输入,就在真实场景步态数据集 Gait3D 上拿到 80.5% Rank-1,超过此前同样只用解析的 SOTA(MultiGaitP)4.1 个百分点。
- IDperturb: Enhancing Variation in Synthetic Face Generation via Angular Perturbations
-
提出 IDperturb,一种在单位超球面上对身份嵌入进行角度扰动的几何采样策略,无需修改生成模型即可显著增强合成人脸数据集的类内多样性,提升下游人脸识别性能。
- ImmerIris: A Large-Scale Dataset and Benchmark for Off-Axis and Unconstrained Iris Recognition in Immersive Applications
-
为 XR/VR 头显场景下"离轴、非约束"虹膜识别造了一个 546 人、49.98 万张眼部图像的大规模数据集 ImmerIris,配套 8 套难度递增的评测协议,并指出传统两阶段方法卡在"归一化"上,提出一个直接吃裁剪眼部图、套人脸识别骨干的 NormFree 范式,简单却在多数协议上反超归一化 SOTA。
- IMU-HOI: A Symbiotic Framework for Coherent Human-Object Interaction and Motion Capture via Contact-Conscious Inertial Fusion
-
IMU-HOI 把"手与物体的接触"当成一等公民的概率信号,从贴在身体(6 个)和物体(1 个)上的稀疏 IMU 出发,用三阶段融合流水线同时恢复全身人体姿态和物体的 6-DoF 轨迹,在三个 HOI 基准上把物体轨迹误差相比强基线降低了 44%~64%。
- InterAgent: Physics-based Multi-agent Command Execution via Diffusion on Interaction Graphs
-
InterAgent 是第一个文本驱动、基于物理仿真的双人形智能体控制框架,用一个多流的自回归扩散 Transformer(Inter-DiT)把本体感知、外部感知、动作三路解耦建模,并用"交互图 + 稀疏边注意力"刻画关节到关节的细粒度交互关系,从而仅凭一句文本就能生成物理上合理、语义上忠实的双人互动行为。
- JUMP-Hand: Learning Joint-wise Uncertainty to Gate Mixture of View Experts for Multi-View 3D Hand Reconstruction
-
JUMP-Hand 把多视图 3D 手部重建重新表述成"每个视图是一个专家"的 MoE 问题,用逐关节、逐视图的概率不确定性当显式门控信号——既驱动粗阶段的不确定性加权三角测量,又驱动精修阶段的不确定性门控跨注意力,从而在严重遮挡下自适应地放大可靠视图、压制噪声视图,在三个多视图基准上取得 SOTA。
- LaMoGen: Language to Motion Generation Through LLM-Guided Symbolic Inference
-
提出 LabanLite 符号动作表示和 LaMoGen 框架,首次让 LLM 通过可解释的 Laban 符号推理自主组合动作序列,在时序精度和可控性上超越传统文本-动作联合嵌入方法。
- LAMP: Localization Aware Multi-camera People Tracking in Metric 3D World
-
LAMP 用头显已知的 6-DoF 位姿,把各相机检测到的 2D 人体关键点早早抬升成统一世界系的 3D 射线云,再用时空 Transformer 直接把人体 SMPL 运动拟合到射线云上——这种"先抬升再拟合"把佩戴者头部运动和被观测者运动彻底解耦,在单目 benchmark 上达到 SOTA,在多相机第一视角场景下大幅甩开基线。
- LCA: Large-scale Codec Avatars - The Unreasonable Effectiveness of Large-scale Avatar Pretraining
-
LCA 首次将大规模预训练/后训练范式应用于 3D 头像建模:在 100 万野外视频上预训练学习广泛的外观和几何先验,再在高质量多视图工作室数据上后训练增强精细表情和保真度,打破了泛化性与保真度的固有矛盾。
- Learning Effective Sign Features without Text for Gloss-free Sign Language Translation
-
本文提出 SignDINO——一种把 DINO 自蒸馏改造成"手语感知"的预训练策略:让教师只看全局帧、学生只看保留手部/面部的局部掩码视图,逼着模型仅凭全局帧就能推断出手语的判别性局部线索,从而在完全不用 gloss、也不用文本标注的情况下预训练手语 tokenizer,在四个公开 GFSLT 数据集上达到甚至超过依赖文本预训练的 SOTA。
- Learning Long-term Motion Embeddings for Efficient Kinematics Generation
-
与其用视频生成模型逐像素同时建模"外观+运动",本文直接学一个只编码运动、时间压缩 64× 的长时运动隐空间:先用轨迹 VAE 把稀疏跟踪轨迹压成稠密可查询的运动网格,再在这个空间里训一个条件流匹配模型按文本/戳点(poke)生成长时目标导向运动,比 SOTA 视频模型快一万倍以上、质量还更好。
- Learning to Diversify and Focus: A Reinforcement Framework for Open-Vocabulary HOI Detection
-
针对开放词表人-物交互(OV-HOI)检测里"查询过拟合已见类、CLIP 注意力发散"两大顽疾,本文提出 SD-IF 框架:用强化学习驱动的语义扰动让查询主动"跳出"已见语义簇,再用 actor-critic 把注意力"聚焦"到真正发生交互的区域,在 HICO-DET 与 SWIG-HOI 上未见类 mAP 大幅领先此前 SOTA。
- LiveGesture: Streamable Co-Speech Gesture Generation Model
-
本文提出 LiveGesture——据称第一个完全流式、零前瞻(zero look-ahead)的语音驱动全身手势生成框架:用一个流式向量量化运动 tokenizer(SVQ,非对称的双向编码 + 因果解码)把每个身体区域离散成因果运动 token,再用分层自回归 Transformer(区域专家 xAR + 因果时空融合 xAR-Fuse)边收音频边逐帧生成 SMPL-X 全身手势,在 BEAT2 上以严格流式约束达到甚至超过离线 SOTA。
- LLaMo: Scaling Pretrained Language Models for Unified Motion Understanding and Generation with Continuous Autoregressive Tokens
-
LLaMo 用"按模态分参数的 Mixture-of-Transformers + 连续因果运动 token + 流匹配解码头 + 退出头"把预训练 LLM 扩成既能"看懂动作(motion-to-text)"又能"生成动作(text-to-motion)"的统一大模型,关键是冻结文本模块从而不损伤 LLM 原有语言能力,并支持实时(≥30 FPS)流式、任意长度的运动生成。
- M4Human: A Large-Scale Multimodal mmWave Radar Benchmark for Human Mesh Reconstruction
-
M4Human 是迄今规模最大的毫米波雷达人体网格重建(HMR)多模态基准——66.1 万帧、50 个动作、20 个被试,同步提供 RGB/深度/原始雷达张量(RT)/雷达点云(RPC)四模态与基于光学动捕的高保真 3D 网格标注,并首次给出直接在 RT 上做 HMR 的轻量基线 RT-Mesh。
- MAMMA: Markerless Accurate Multi-person Motion Acquisition
-
MAMMA 是一套无标记多人动作捕捉流水线:从多视角视频出发,用一个为每个标志点学独立 query 的 Transformer(MammaNet)预测 512 个接触感知、可见性感知的稠密 2D 表面标志点,再据此拟合 SMPL-X,在近距离双人交互场景下达到与商用 marker-based 系统(Vicon)仅差 0.862mm 的精度,却省掉了繁琐的贴标记和人工清洗。
- MatchED: Crisp Edge Detection Using End-to-End, Matching-based Supervision
-
MatchED 提出一种轻量(约21K参数)plug-and-play 模块,通过在训练时对预测边缘和 GT 边缘进行基于空间距离+置信度的 one-to-one 二部匹配来生成 crisp(单像素宽)边缘图,可附加到任何边缘检测器端到端训练,首次在不依赖 NMS+thinning 后处理的情况下匹配或超越标准后处理方法。
- MetricHMSR: Metric Human Mesh and Scene Recovery from Monocular Images
-
MetricHMSR 用一张单目图像同时恢复带真实物理尺度(米制)的人体 SMPL 网格和 3D 场景:核心是用「边界相机射线图」把相机内参和裁剪信息显式编码进网络、用 HumanMoE 把局部姿态与全局位置解耦,再以恢复出的度量人体为几何锚点去校正单目深度,从而在人体网格恢复和度量人-场景重建两个任务上都达到 SOTA。
- MFEN: Multi-Frequency Expert Network for Visible-Infrared Person Re-ID
-
针对可见光-红外行人重识别中"光照差异跨多个频带、且最优频带随样本而变"的痛点,MFEN 用多个频带专家 + 门控的混合专家结构按样本自适应融合频域线索,再配合图像级的随机频率增强(RFA)和优化级的频域辅助损失(FAO),在三个 VI-ReID 数据集上刷新或逼近 SOTA。
- MGDHand: Multi-Granularity Prior-to-Inertial Distillation Framework for Sequential 3D Hand Pose Estimation from Sparse IMUs
-
针对"从稀疏 IMU 直接回归稠密手部姿态因语义鸿沟而高度病态"的问题,MGDHand 先预训练一个 MANO-IMU 融合教师把先验编码成静态形状/动态姿态/时序运动三类,再用多粒度解耦蒸馏(SSD/DPD/TMD)把这三类先验在各自语义域分别迁移给只用 IMU 的学生,在 VIHand 上相比无蒸馏学生 MPJPE 降低 40.7%。
- Miburi: Towards Expressive Interactive Gesture Synthesis
-
提出 Miburi,首个在线因果框架,通过直接利用语音-文本大模型 Moshi 的内部 token 流和二维因果 Transformer,实现实时同步的全身手势与面部表情生成。
- MimicTalker: A Multimodal Interactive and Memory-Enhanced Framework for Real-Time Dyadic 3D Head Generation
-
MimicTalker 面向"双人实时对话"的 3D 头部动作生成:用逐帧因果处理 + 门控多尺度记忆(MICE)实现零延迟感知对方、用 LLM 抽取的意图/主题语义动态调制说话方特征(SDI)、再用"意图为键、风格为值"的外部记忆库(MSM)在长对话中保持动作风格一致,从而能在 25 秒短片段和 6 分钟长对话上都生成自然、连贯、风格一致的实时反应,比 DualTalk 等方法在多数指标上提升 10%–30%。
- MMGait: Towards Multi-Modal Gait Recognition
-
MMGait 构建了目前最全面的多模态步态识别基准数据集(5 种传感器、12 种模态、725 人、334K 序列),并提出全模态步态识别新任务和统一基线模型 OmniGait。
- Mobile-VTON: High-Fidelity On-Device Virtual Try-On
-
首个全离线移动端扩散式虚拟试穿框架,基于TeacherNet-GarmentNet-TryonNet (TGT)架构,通过特征引导对抗蒸馏(FGA)将SD3.5 Large的能力迁移到415M参数的轻量学生网络,在VITON-HD和DressCode上以1024×768分辨率匹配甚至超越服务器端基线,端到端推理时间约80秒(小米17 Pro Max)。
- MoBind: Motion Binding for Fine-Grained IMU-Video Pose Alignment
-
MoBind 用层级对比学习把可穿戴 IMU 信号与视频提取的 2D 骨架运动对齐——先把 IMU 对到"骨架运动"而非原始像素以滤掉无关背景、再把全身分解成各身体部位与对应 IMU 配对、最后在 token/局部/全局三个层级做对比并配一个掩码 token 预测辅助任务——从而在跨模态检索、亚秒级时序同步、人物/部位定位、动作识别四个下游任务上全面超越强基线。
- Mocap-2-to-3: Multi-view Lifting for Monocular Motion Recovery with 2D Pretraining
-
Mocap-2-to-3 把"从单目 2D 姿态恢复 3D 动作"重新表述成多视角合成问题:先用海量 2D 数据预训练一个单视角运动扩散模型、再在少量 3D 数据上做多视角微调,配合解耦的局部姿态/全局位移表征与地面点图约束,从单目输入恢复出带米制绝对位置的全身动作,在 RICH/AIST++ 上同时打败了相机空间与世界坐标的 SOTA。
- MOFA-VTON: More Fashion Possibilities with Fine-Grained Adaptations in Virtual Try-On
-
MOFA-VTON 让用户用一条手绘曲线草图控制虚拟试穿中"上下装如何搭配"(塞进 / 露出 / 各种下摆造型),通过把草图转成"双区域掩码"提供布局引导、再用"布局调整块"在特征层把上下身特征摆到正确空间位置,在 VITON-HD / DressCode 上既刷到 SOTA 画质又解锁了传统方法做不到的多样穿搭。
- MoLingo: Motion-Language Alignment for Text-to-Human Motion Generation
-
MoLingo 通过语义对齐的运动自编码器(SAE)和多 token 交叉注意力文本条件注入,在连续潜空间上执行 masked 自回归 rectified flow,在文本到人体动作生成任务上取得了 FID、R-Precision 和用户研究的全面 SOTA。
- MotionHiFlow: Text-to-Motion via Hierarchical Flow Matching
-
MotionHiFlow 把文本到 3D 人体动作的生成拆成"由粗到细、从低时间尺度到高时间尺度"的多阶段流匹配过程,用一个保持噪声一致性的跨尺度过渡把各尺度的流串起来,再配合双流的 Text-Motion Diffusion Transformer(TMDiT)和关节感知的 Joint RoPE,在 HumanML3D / KIT-ML 上取得 SOTA(FID 0.032 / 0.135)。
- MotionMaster: Generalizable Text-Driven Motion Generation and Editing
-
MotionMaster 把人体动作当成一种新模态塞进预训练多模态大模型(Qwen2.5-VL)的共享词表里,配上一个 10,000 小时的标注动作数据集(MotionGB)和一个兼顾局部关节精度与全局轨迹一致性的 FSQ 离散化器,用一个端到端自回归模型同时做文本驱动的动作生成和动作编辑,在多动作语义一致性上比之前方法高 41.6%、身体部位组合上高 20.8%。
- Multi-level Causal LLM-based Text-to-Motion Generation with Human Alignment (MoTiGA)
-
MoTiGA 把 LLM 文本生成动作的三大短板——细粒度量化误差、"因果 LLM vs 非因果 VQ-VAE"的表征错配、缺人类偏好对齐——分别用因果残差量化(Causal RVQ-VAE)、时间错位因果预测、以及多层混合加权偏好优化(MHPO)逐一解决,在 HumanML3D 上把 FID 相对其它 LLM 方法降 82.3%、KIT-ML 降 64.7%。
- Natural Human Motion Recovery by Aligning High-Order Temporal Dynamics from Monocular Videos
-
针对单目人体运动恢复"关节位置准但动起来要么抖要么过平滑"的痛点,本文提出 HTD-Refine——用一个轻量时序网络 PVA-Net 直接从视频显式预测每个关节的 3D 速度和加速度,再把这些高阶动力学当成软约束去优化全局轨迹,能即插即用地给 TRAM / GVHMR / Human3R 等现有方法降抖动、抑过平滑,并提升全局精度。
- Next-Scale Autoregressive Models for Text-to-Motion Generation
-
MoScale 提出了一种 next-scale 自回归动作生成框架,替代传统 next-token 预测,通过从粗到细的层次化因果生成来捕获全局语义结构,并引入跨尺度层次精化和尺度内时间精化,在 HumanML3D 和 KIT-ML 上达到 SOTA(Top-1 0.540,FID 0.046)。
- Occluded Human Body Capture with Frequency Domain Denoising Prior
-
把单目遮挡视频下的 3D 人体运动捕捉重新建模成「小波系数选择」问题:先用高斯分布刻画遮挡关键点的不确定性,再用频域扩散先验在离散小波域里挑出可信系数,从而在长时遮挡下恢复出连贯且保留周期性的人体运动。
- OMG-Avatar: One-shot Multi-LOD Gaussian Head Avatar
-
OMG-Avatar 用单张图在 0.2 秒内重建一个可驱动的 3D 高斯头部化身,通过「由粗到细的分层特征提取 + 深度缓冲引导的遮挡感知融合 + 头肩分治建模」,让同一个统一模型在运行时动态切换细节级别(LOD),在更少高斯点数下同时拿到 SOTA 的重建质量和 85 FPS 的实时速度。
- OMG-Bench: A New Challenging Benchmark for Skeleton-based Online Micro Hand Gesture Recognition
-
本文构建了首个大规模公开的基于骨骼数据的在线微手势识别基准OMG-Bench(40类、13948个实例),并提出HMATr框架,通过层次化记忆库和位置感知查询实现检测-分类的端到端统一,在检测率上超越SOTA方法7.6%。
- Omni-Supervised Motion Editing: Balancing Change and Invariance through Positive-Negative Learning
-
OmniME 针对文本驱动的人体运动编辑,把监督拆成"正监督"(回溯式中间层特征监督 + 基于相似度的运动保持)和"负监督"(三元组语义对齐)两条互补支路,在一个扩散框架里同时约束"该改的地方改、不该动的地方不动",在 MotionFix 和 STANCE Adjustment 上把平均检索排名(AvgR)分别从 20.88 降到 13.06、29.05 降到 22.77。
- Open the Motion Door: Atomic Motion Decomposition and Recomposition for Open-Vocabulary Motion Generation
-
针对文本到动作(T2M)模型在训练集外文本上泛化差的问题,本文提出"原子动作分解-重组"框架:先把任意原始文本拆成各身体部位、各时间段的低层"原子动作"描述,再学习把这些原子动作重新组合成完整动作,仅用 HumanML3D 训练就能在两个域外数据集(IDEA400、Mixamo)上大幅超越 SOTA。
- OpenDance: Multimodal Controllable 3D Dance Generation with Large-scale Internet Data
-
OpenDance 一边从网络视频造了个 100 小时、14 个舞种、带音乐/文本/2D关键点/轨迹多模态标注的大规模 3D 舞蹈数据集 OpenDanceSet,一边用"解耦分词 + 多模态掩码联合预测 + 推理期重掩码细化"的统一框架 OpenDanceNet,实现以"音乐 + 任意条件组合"驱动、高保真又可精细控制的 3D 舞蹈生成。
- OpenFS: Multi-Hand-Capable Fingerspelling Recognition with Implicit Signing-Hand Detection and Frame-Wise Letter-Conditioned Synthesis
-
提出 OpenFS 框架,通过双层位置编码 + 签名手聚焦损失 + 单调对齐损失实现隐式签名手检测的多手指拼识别,并设计帧级字母条件扩散生成器合成 OOV 数据,在 ChicagoFSWild/ChicagoFSWildPlus/FSNeo 三个基准上取得 SOTA,推理速度比 PoseNet 快 100 倍以上。
- OpenT2M: No-frill Motion Generation with Open-source, Large-scale, High-quality Data
-
作者发现现有文本到动作(T2M)基准存在训练/验证集泄漏、模型只是过拟合而非真泛化,于是构建了百万级、物理可行、秒级标注、含长时序的开源动作数据集 OpenT2M,并配套一个"无花哨设计"的自回归生成模型 MonoFrill——其核心是把动作当成"时间×身体部位"的 2D 图像、用 2D 卷积+残差量化的 tokenizer 2D-PRQ,最终在去除泄漏的 OOD 基准上把零样本 R@1 从约 0.07 拉到 0.24。
- OSMO: Open-vocabulary Self-eMOtion Tracking
-
本文提出"第一人称自我情绪追踪"新任务——从智能眼镜的多模态流(语音、视觉环境、对话文本、眼动)推断佩戴者随时间演变的情绪,并配套发布 OSMO 数据集(110 小时、首个带逐主体情绪时间线的最大第一人称情绪数据集)、OSMO 基准(5 个任务)和 OSIRIS 模型(首个联合视频/音频/对话/眼动红外、用情绪历史做时序推理的情绪 LMM),在各项指标上大幅刷新 SOTA。
- PAMotion: Physics-Aware Motion Generation for Full-Body Interaction with Multiple Objects
-
PAMotion 用「物体加速度暴露接触状态」这一物理直觉,设计了一个软性的物理感知交互损失,再配合粗到细的两阶段条件扩散,让文本驱动的全身多物体交互动作既贴合语义又不再出现手穿模、物体悬空,在 HIMO 和 ParaHome 上刷新 SOTA。
- ParTY: Part-Guidance for Expressive Text-to-Motion Synthesis
-
提出 ParTY 框架,通过部位引导网络(Part-Guided Network)和部位感知文本对齐(Part-aware Text Grounding),在保持全身动作连贯性的同时大幅提升身体各部位的文本-动作语义对齐精度,解决了现有整体式方法与部位拆分方法之间"部位表达力 vs 全身连贯性"的根本矛盾。
- PC-Talk: Precise Facial Animation Control for Audio-Driven Talking Face Generation
-
PC-Talk 在隐式关键点(implicit keypoint)这一中间表示上做「可加性形变」,用 LAC 模块控制带说话风格的唇音对齐、用 EMC 模块通过「减去中性表情」解耦出纯情绪形变,从而对说话风格、唇动幅度、情绪强度乃至分区域复合情绪做精细可控的实时(30 FPS)说话人脸生成,并在 HDTF / MEAD 上取得 SOTA。
- PHASE-Net: Physics-Grounded Harmonic Attention System for Efficient Remote Photoplethysmography Measurement
-
从Navier-Stokes方程出发,通过严格数学推导揭示rPPG脉搏信号遵循二阶阻尼谐振子模型,其离散解形式等价于因果卷积算子,从而为TCN架构的选择提供了第一性原理依据,设计出仅0.29M参数的PHASE-Net在多个数据集上达到SOTA。
- PolySLGen: Online Multimodal Speaking-Listening Reaction Generation in Polyadic Interaction
-
PolySLGen 把多人群体的过去语音和动作喂进一个 LoRA 微调的 LLM,在线生成目标参与者未来的语音、身体动作和"说话状态分数",靠姿态融合模块与社交线索编码器统一建模多人非语言信号,从而既能说也能听,在动作质量、语音-动作对齐、说话状态预测上都显著超过把双人方法硬扩到多人的基线。
- Pose-guided Enriched Feature Learning for Federated-by-camera Person Re-identification
-
本文针对"每个客户端=单台摄像头、只能看到很少姿态"的 federated-by-camera 行人重识别场景,提出姿态提取模块 PEM 把特征解耦成"姿态相关/姿态无关"两部分,再跨身份交换姿态分量合成"换姿态"的硬正样本,用姿态关系知识蒸馏、语义一致性维护、兼容性正则三招保证解耦质量与全局兼容性,从而补足对比学习缺失的姿态多样性,在 Market1501 / MSMT17 上刷到联邦 ReID 的 SOTA。
- PRISM: Learning a Shared Primitive Space for Transferable Skeleton Action Representation
-
PRISM 把骨架动作表示成「一组可复用原子运动基元的加权组合」(基元系数空间),先用多视角合成数据通过生成目标学出这个物理可解释、视角无关的结构化表征,再以轻量任务头把同一表征顺序迁移到分类与逐帧检测,在长尾、多标签、多视角的真实数据集上一致超过专用模型。
- Progressive Guessing to Fixed Point: Rethinking Human Motion Prediction with Deep Equilibrium Models
-
MotionDEQ 把人体运动预测里「多阶段渐进猜测」的级联框架重写成一个隐式层内的不动点求解问题——等价于无限多次精化但只需 \(O(1)\) 训练显存,再把欧氏几何等变性注入这个均衡过程,并利用相邻预测的时间连贯性把上一轮不动点当「暖启动」复用,在 Human3.6M 上用不到 300K 参数取得 400ms@55.3mm 的 SOTA 精度、训练显存比多阶段对手省 2 倍多。
- ProjFlow: Projection Sampling with Flow Matching for Zero-Shot Exact Spatial Motion Control
-
把一大类人体运动控制任务(轨迹跟随、2D→3D 抬升、运动补全、循环动作等)统一成线性逆问题,提出 ProjFlow——一个无需训练的流匹配采样器,在每一步去噪时用闭式投影把"干净运动估计"拉到约束集上,并用一个编码骨架拓扑的"运动学感知度量"让校正沿骨骼协调扩散,从而在零样本、无内层优化的条件下精确满足硬约束、同时保持运动自然度。
- Prompt-Anchored Vision–Text Distillation for Lifelong Person Re-identification
-
PAD 把 CLIP 冻结文本编码器当成跨域不变的"语义锚",用一套非对称的视觉-文本蒸馏——文本侧弱蒸馏保语义稳定、视觉侧强 EMA 蒸馏保持塑性——在无样本回放的终身行人重识别上同时压住灾难遗忘和语义漂移,在已见域平均 mAP 70.7、未见域 78.6,全面超过此前 SOTA。
- Push-and-Step: From RL-Based Balance Recovery to Physical Simulation of Dense Crowds
-
用两阶段深度强化学习训练全身物理人形 agent:第一阶段靠动作模仿 + 物理平衡奖励学会被推后"迈步恢复平衡",第二阶段用 AdaptNet 微调并引入"手-肩接触"启发式,让 agent 在密集人群里通过推扶邻居来社交化地耗散冲击,从而首次用纯物理仿真复现真实密集人群中推力传播、跌倒和拥挤踩踏等现象。
- RAM: Recover Any 3D Human Motion in-the-Wild
-
RAM 提出统一的多人 3D 运动恢复框架,集成运动感知语义跟踪器 SegFollow(基于 SAM2 + 自适应卡尔曼滤波)、记忆增强的时序人体网格恢复模块 T-HMR、轻量运动预测器和门控组合器,在 PoseTrack 和 3DPW 等基准上实现零样本跟踪稳定性和 3D 精度的 SOTA,且推理速度比之前方法快 2-3 倍。
- Real-Time Multimodal Fingertip Contact Detection via Depth and Motion Fusion for Vision-Based Human-Computer Interaction
-
这篇论文不发明新网络,而是用一个专门采集的 53,300 对毫米级 RGB-深度数据集,把现成单目深度模型微调到近场指尖场景,再叠加"深度+运动"融合的速度门控状态机判定接触——只用一只普通 RGB 摄像头就把深度误差从 12.3 mm 砍到 3.84 mm(降 68%),接触检测 F1 达 94.4%,让用户在桌面上"盲打"达到 45.6 WPM、字符错误率 3.1%,逼近专用深度硬件与商用 VR 输入。
- Reference-Free Image Quality Assessment for Virtual Try-On via Human Feedback
-
提出 VTON-IQA,一个无需参考图的虚拟试穿图像质量评估框架,通过构建 62,688 张试穿图像 × 431,800 条人工标注的大规模基准 VTON-QBench,以及交错式交叉注意力(ICA)模块建模服装-人物-试穿图之间的交互关系,实现与人类感知高度对齐的图像级质量预测。
- RefTon: Reference Person Shot Assist Virtual Try-on
-
本文提出 RefTon,一个基于 Flux-Kontext 的人对人虚拟试穿框架,通过引入额外参考图像(其他人穿着目标服装的照片)来提供更准确的服装细节信息,同时通过两阶段训练策略和缩放位置索引机制实现了无需辅助条件(如 DensePose、分割掩码)的端到端试穿,在 VITON-HD 和 DressCode 上达到 SOTA。
- ReGenHOI: Unifying Reconstruction and Generation for 3D Human-Object Interaction Understanding
-
ReGenHOI 把 3D 人物-物体交互(HOI)的"重建"(从图像还原观测到的接触)和"生成"(按语言指令想象未来交互)塞进同一个共享的语义-几何潜空间,靠"直接在 3D 点云上做接触推理 + 推理轨迹迭代精修 + 引力场扩散桥精修接触几何"三件套,在接触估计、重建精度和动作生成质量上同时刷过各自领域的 SOTA。
- RegFormer: Transferable Relational Grounding for Efficient Weakly-Supervised Human-Object Interaction Detection
-
RegFormer 是一个轻量的交互识别模块:只用图像级标签训练时,它把人–物对查询构造成"空间 grounded"表示并引入交互性打分作为门控;推理做实例级 HOI 检测时,只需用检测框给查询和打分加一层区域掩码,无需额外训练即可从图像级迁移到实例级,比此前弱监督方法大幅领先、并逼近全监督,同时推理速度快 ~128×。
- RegFormer: Transferable Relational Grounding for Efficient Weakly-Supervised HOI Detection
-
RegFormer 把弱监督 HOI 检测从「枚举所有人-物对、逐对裁切区域分类」改成「在 CLIP 空间特征图上把人和物的关系接地成查询、再用交互性分数门控非交互对」,只用图像级标注训练却能直接迁到实例级检测、单次主干前向、HICO-DET 上配 H-DETR 达到 38.14 mAP 反超全监督方法。
- Region-Aware Instance Consistency Learning for Micro-Expression Recognition
-
把一段微表情序列看成「onset 帧 + 多个中段帧」组成的多实例集合,用孪生网络强制不同实例的注意力热图对齐(IRC)、再用可学习面部 query 挖出被忽略的微弱激活区(MRD),从而彻底甩掉昂贵的 apex 帧标注,在四个公开数据集上全面超过 SOTA。
- Relightable Holoported Characters: Capturing and Relighting Dynamic Human Performance from Sparse Views
-
RHC 用一个 transformer 网络 RelightNet,把"物理启发特征(几何/反照率/着色/视角)"和环境光做交叉注意力,在单次前向里隐式求解渲染方程,从 4 路平光相机就能对未见动作的全身人物做照片级自由视角重光照——既不用慢吞吞的 OLAT 基底采集,又比逆渲染类方法清晰得多。
- ReMoGen: Real-time Human Interaction-to-Reaction Generation via Modular Learning from Diverse Data
-
提出 ReMoGen,一个模块化框架用于实时人体交互-到-反应的动作生成:利用大规模单人运动数据学习通用运动先验(冻结),通过独立训练的 Meta-Interaction 模块适配不同交互域(人-人/人-场景),并引入 Frame-wise Segment Refinement 实现逐帧低延迟在线更新(0.047s/帧),在 Inter-X 和 LINGO 数据集上全面超越 SOTA。
- Render-to-Adapt: Unsupervised Personal Adaptation for Gaze Estimation
-
本文指出主流"无监督域适配(UDA)"的群体级假设与"系统每次只服务单个新用户"的真实场景脱节,提出无监督个性化适配(UPA)新范式,并用一个固定参数的可微渲染器构造 Render-Cycle 一致性自监督信号——把模型预测的视线渲染成新图、再让模型读回虹膜位置,用前后虹膜是否一致来反传校正视线偏差,在跨数据集的逐人适配上对每一个用户都稳定提升,整体显著超过现有 SOTA。
- RGB-Event based Pedestrian Attribute Recognition: A Benchmark Dataset and An Asymmetric RWKV Fusion Framework
-
本文首次提出 RGB-Event 多模态行人属性识别任务,构建了首个 10 万对 RGB-事件帧、含 6 类情绪属性的大规模数据集 EventPAR,并设计一个非对称 RWKV 融合框架(双路 RWKV 编码 + OTN-RWKV 事件 token 过滤与双向交叉融合),在三个数据集上取得 SOTA。
- RoMo: A Large-Scale, Richly Organized Dataset and Semantic Taxonomy for Human Motion Generation
-
针对 3D 人体动作生成长期受困于"小而干净的动捕集"与"大而嘈杂的野外集"二选一的窘境,RoMo 用一套分类体系感知的自适应过滤管线从 12.5 万小时网络视频里只蒸馏出约 1% 的高质量动作,构建出 82 万段、约 1238 小时、每段 5 条富文本描述并按"类别→子类别→原子动作"三级分类体系组织的大规模数据集,并配套 Motion Toolbox 统一评测,使训练模型在保真度、多样性和细粒度文本理解上达到 SOTA。
- rPPG-VQA: A Video Quality Assessment Framework for Unsupervised rPPG Training
-
rPPG-VQA 提出首个面向远程心率检测(rPPG)的视频质量评估框架,结合信号级多方法共识 SNR 和场景级 MLLM 干扰识别,配合两阶段自适应采样策略筛选野外视频构建训练集。
- SAM 3D Body: Robust Full-Body Human Mesh Recovery
-
SAM 3D Body(3DB)是一个 SAM 风格的可提示单图全身人体网格恢复模型:它用共享编码器 + 身体/手部双解码器架构,基于解耦骨骼与体型的 MHR 表示,配上一个能挖掘困难样本、产出 700 万张高质量标注的数据引擎,在野外图像上把身体和手部姿态同时做到 SOTA。
- SceMoS: Scene-Aware 3D Human Motion Synthesis by Planning with Geometry-Grounded Tokens
-
SceMoS 用两种轻量级 2D 场景线索取代昂贵的 3D 体素/点云监督——鸟瞰图 DINOv2 特征做全局语义规划、局部 2D 高度图把表面物理直接焊进运动 token 词表,从而在 TRUMANS 上达到 SOTA 的运动真实度与接触精度,同时把场景编码的可训练参数砍掉一个数量级(约 4M vs 约 50M)。
- See Through the Noise: Improving Domain Generalization in Gaze Estimation
-
SeeTN 首次把"视线估计跨域泛化差"归因到源域标签噪声,通过原型构造的语义流形对齐特征与连续标签的亲和关系来识别噪声样本,再对干净/噪声样本分别施加正则把干净监督迁移给噪声样本,在四个跨域设置上把角度误差降低 12–18% 且不牺牲源域精度。
- Seeing without Pixels: Perception from Camera Trajectories
-
本文首次系统性地将相机位姿轨迹(6DoF pose sequence)提升为一种独立的视频感知模态,通过对比学习框架训练轻量级 Transformer 编码器 CamFormer,将相机轨迹映射到与文本对齐的联合嵌入空间,在 5 个数据集的 10 个下游任务上证明相机轨迹是既轻量又鲁棒的视频内容信号——在物理活动上甚至可以超越计算量大数千倍的视频模型。
- Shoe Style-Invariant and Ground-Aware Learning for Dense Foot Contact Estimation
-
提出 FECO 框架,通过鞋款风格–内容随机化(对抗训练)和地面感知学习(像素高度图 + 地面法线),从单张 RGB 图像实现鲁棒的密集足部接触估计,在多个基准上显著超越现有方法。
- Sign Language Recognition in the Age of LLMs
-
首个系统评估现代 VLM 在零样本孤立手语识别(ISLR)上能力的研究,发现开源 VLM 远落后于专用分类器,但大型商用模型(GPT-5)展现出令人惊讶的潜力。
- SignPR: A Progressive Vector-Quantized Diffusion Framework for Sign Language Production
-
SignPR 针对无 gloss 的 Text2Pose 手语生成任务,提出一个「结构 + 时序」双重渐进的向量量化扩散框架:用结构化 VQVAE 把每帧位姿拆成语义级(整体)和区域级(手/脸/身)两层离散 token,扩散先生成语义一致的粗位姿再细化区域细节,并在推理时用块级因果渐进细化保证时序连贯,在 Phoenix14T / CSL-Daily / USTC-CSL 上全面超过此前 T2P 方法。
- Sketch2Colab: Sketch-Conditioned Multi-Human Animation via Controllable Flow Distillation
-
提出 Sketch2Colab,通过将草图驱动的扩散先验蒸馏为整流流学生网络,结合能量引导和连续时间马尔可夫链(CTMC)离散事件规划,从故事板草图生成协调的多人-物体交互 3D 动作,在 CORE4D 和 InterHuman 上实现 SOTA 约束遵从度和感知质量。
- Spatial-Frequency Collaborative Learning for Occluded Visible-Infrared Person Re-Identification
-
针对带遮挡的可见光-红外行人重识别(Occluded VI-ReID),本文提出 SFCL 框架:用 FFT 把特征拆成幅度(编码模态外观)和相位(保留身份结构),在频域用最优传输对齐两模态、再把频域结构线索注回空间特征,并配一个频域对比 + 语义一致的 FAD 损失,在自建的两个遮挡数据集上超过此前 SOTA(Occ-SYSU-MM01 全搜索 Rank-1 65.97%,+4.31%)。
- SSM-Aware Token-Efficient VMamba via Adaptive Patch Pruning and Merging for Person Re-Identification
-
TE-VMamba 让 VMamba 的 SS2D 状态更新强度(步长 \(\Delta\))和 token 相似度自己说话,在浅层按 \(\Delta\) 剪掉对状态几乎没贡献的冗余 token、在深层把语义相似的 token 合并,在 Market-1501 上把 FLOPs 砍掉 60% 以上而 Rank-1 不降反升。
- Stability-Driven Motion Generation for Object-Guided Human-Human Co-Manipulation
-
给定一个物体的网格和它的运动轨迹,本文用 flow matching 框架生成两个人协同搬运这个物体的全身动作,并通过「affordance 引导的接触策略 + 对抗交互先验 + 基于采样的稳定性仿真」三个模块,让生成动作同时满足意图正确(手抓对地方)、姿态自然、物理稳定(不漂浮、不穿模),在 Core4D 上接触准确率、穿模、分布保真度都显著超过现有 HOI 基线。
- Stake the Points: Structure-Faithful Instance Unlearning
-
提出 Structguard,通过语义锚点(semantic anchors)保持遗忘过程中保留实例间的语义关系结构,避免结构性崩塌,在图像分类/人脸识别/检索三任务上平均提升 32.9%/19.3%/22.5%。
- Superman: Unifying Skeleton and Vision for Human Motion Perception and Generation
-
Superman 把"从视频感知 3D 姿态"和"基于骨架生成运动"统一成一个条件序列生成问题:先用一个视觉引导的运动 tokenizer(VQ-VAE + 视觉/几何双流 + 混合码本)把连续运动量化成跨模态离散 token,再让单个 MLLM(Qwen2.5-VL-7B)自回归地预测这些 token,从而用一套模型同时做 3D 姿态估计、运动预测、运动插值,在 Human3.6M 上相比专用 SOTA 提升约 11~12%。
- SyncDreamer: Controllable and Expressive Avatar Generation Beyond the Talking Head
-
SyncDreamer 用一个 Diffusion Transformer 框架,只靠单张参考图 + 语音 + 文本提示就能生成既保身份、又有情感表现力、还能用文字精细控制手势/视线的说话人视频;它通过视觉适配器(配注意力定位损失)锁住身份、用音频动态编码器把语音节奏/能量转成表情驱动、再用 GRPO 训练的跨模态提示增强器把短文本变成真正能控运动的指令,在人像和全身两类基准上都刷到 SOTA。
- SyncMos: Scalable Motion Synchronisation for Multi-Agent Scene Interaction
-
SyncMos 用一个 LLM 事件规划器把自然语言指令拆成带时序依赖的事件图,再在不重训单人扩散运动模型的前提下,靠 time-warping + 扩散后验采样(DPS)做后处理,让任意数量 agent 的动作(如递接物品)在时间上对齐,实现可扩展的多人 3D 场景交互生成。
- Tackling Alignment Ambiguity in Person Retrieval through Conversational Attribute Mining
-
针对「文本-图像行人检索」里查询和图像对不齐的老大难问题,本文用多模态大模型以「多轮问答」方式从行人图里挖出细粒度属性并总结成一段描述,再用双向交叉注意力把这段总结和图像 token 互相精炼,最后用置信度加权损失压住大模型生成的噪声对话,在三个基准上把 Rank-1 刷到新高。
- Talking Together: Synthesizing Co-Located 3D Conversations from Audio
-
首次提出从单一混合音频流生成两个共处同一3D空间的对话参与者完整面部动画的方法,通过双流扩散架构(共享 U-Net + 跨注意力)、两阶段混合数据训练策略、LLM 驱动的文本-空间布局控制以及辅助眼神损失,实现自然的互视、转头和空间感知的双人对话3D动画合成。
- Tavatar: Topology-Aware Gaussian Attribute Derivation for Animatable Human Avatars
-
Tavatar 不再把每个 3D 高斯的旋转和尺度当作自由优化的参数,而是从底层可形变网格的三角形几何中解析地推导出来,让高斯天然锚定在网格拓扑上,从而在没见过的复杂姿态(OOD)下也不会脱落或穿洞——在 X-Avatar 上法向误差比最优 baseline 降低 13.8%,PeopleSnapshot 上降低 17.9%,同时渲染质量保持竞争力。
- TeamHOI: Learning a Unified Policy for Cooperative Human-Object Interactions with Any Team Size
-
提出 TeamHOI 框架,通过基于 Transformer 的去中心化策略网络和掩码对抗运动先验(Masked AMP),使单一策略能够泛化到任意数量智能体的协作搬运任务,2-8 个仿人智能体协作搬桌子成功率达 97%+。
- Text-Driven 3D Hand Motion Generation from Sign Language Data
-
本文借助大规模手语视频 + 手语词典 + LLM,自动构建了 130 万条「文本-3D手部动作」配对数据集 BOBSL3DT,并在其上训练出能由自由文本描述(手型、位置、手指/手臂运动)驱动的手部动作扩散模型 HandMDM,且对未见手势、异种手语乃至非手语手部动作都有不错的泛化。
- Text-guided Feature Disentanglement for Cross-modal Gait Recognition
-
用 LLM 生成「模态+视角」感知的步态文本字典,借 CLIP 把文本当语义锚点引导视觉特征解耦,从而把 LiDAR 与相机两种模态的步态特征拆成「模态专属 + 模态共享」两部分、仅用共享特征做检索,在 SUSTech1K、FreeGait 两个跨模态步态基准上刷到新 SOTA(FreeGait 上 3D→2D Rank-1 从 43.3 涨到 57.9)。
- 4DSurf: High-Fidelity Dynamic Scene Surface Reconstruction
-
本文提出 4DSurf,一个基于2D高斯泼溅的通用动态场景表面重建框架,通过引入高斯运动诱导的SDF流正则化来约束表面时序一致演化,并采用重叠分段策略处理大变形,在 Hi4D 和 CMU Panoptic 数据集上分别以 49% 和 19% 的 Chamfer 距离改进超越现有 SOTA。
- Towards Cross-Modal Preservation, Consistency and Alignment for Privacy-Preserving Visible-Infrared Person Re-Identification
-
本文提出全新任务 PP-VI-ReID(隐私保护的可见光-红外行人重识别),用一个 PPA 框架同时解决"匿名化破坏身份信息"和"匿名化扭曲在两模态间不一致"两大难题——KPR 模块借人体姿态先验做结构感知的精准匿名,DCMA 模块把匿名化扰动当作可学习的稳定偏移来对齐跨模态特征,在 SYSU-MM01 / RegDB 上大幅超越改造版 SecureReID,确立强基线。
- Towards Decompositional Human Motion Generation with Energy-Based Diffusion Models
-
DeMoGen 把"文本生成人体动作"反过来做——用能量扩散模型在没有分解级真值的情况下,把一段整体动作拆成若干语义可解释的动作概念(如"走 Z 字形"+"挥左手"),再让这些概念自由重组生成训练集里没见过的新动作,同时在 HumanML3D 与 MTT 的文本到动作、组合、多概念三类任务上都拿到提升。
- Towards Highly-Constrained Human Motion Generation with Retrieval-Guided Diffusion Noise Optimization
-
针对"穿过 0.4 米窄缝""走 4 米恰好 6 步"这类极难时空/数值约束的动作生成任务,本文在免训练的扩散噪声优化(DNO)框架上加了一条检索通道——先用关系式任务解析挑出最难的约束,再从动作数据集里检索能满足它的参考动作并反演成参考噪声,最后用奖励引导的掩码把随机噪声和检索噪声拼起来当作更好的初始化,使约束误差相比原生 DNO 大幅下降。
- Translating Signals to Languages for sEMG-Based Activity Recognition
-
本文提出 LLM-sEMG,先用一个 sEMG 专用 VQ-VAE 把连续肌电信号离散成 token,再通过「Lewis 信号博弈 + 人类语言归纳偏置」让这些 token 演化成一种类自然语言的「sEMG 语言」,最后只用 LoRA 微调、冻结预训练权重的 LLM 直接读这门语言来识别动作,在 GRABMyo 和 NinaPro DB2 上把准确率分别推到 95.14% 和 93.17%,超过最强基线 STET 约 4 个点。
- TriLite: Efficient WSOL with Universal Visual Features and Tri-Region Disentanglement
-
仅使用冻结 DINOv2 ViT + 不到 800K 可训练参数的 TriHead 模块,通过将 patch 特征解耦为前景/背景/模糊三区域并引入对抗性背景损失,在 WSOL 上以极少参数刷新 SOTA。
- Ultra Diffusion Poser: Diffusion-Based Human Motion Tracking From Sparse Inertial Sensors and Ranging-Based Between-Sensor Distances
-
把 6 个 IMU 之间的 UWB 测距从"额外特征"升级为"几何约束"——先用多维标度(MDS)从两两距离解析重建 3D 传感器布局当作扩散条件,再在去噪采样时用前向运动学把预测姿态映回传感器距离做引导对齐,使稀疏惯性人体姿态估计的关节位置误差最多降低 22%。
- UniDex: A Robot Foundation Suite for Universal Dexterous Hand Control from Egocentric Human Videos
-
提出UniDex机器人基础套件——包含跨8种灵巧手的大规模数据集(50K+轨迹/9M帧)、功能-执行器对齐的统一动作空间(FAAS)和3D VLA策略(UniDex-VLA),在真实世界工具使用任务上达到81%平均任务进度(vs π₀的38%),并展示了空间、物体和零样本跨手泛化能力。
- Unified Number-Free Text-to-Motion Generation Via Flow Matching
-
UMF 用一个统一的多 token 隐空间把单人和多人动作数据集打通,再用「金字塔运动流(P-Flow)单次生成动作先验 + 半噪声运动流(S-Flow)多次自回归生成反应」的 1+N 范式,在文本驱动的「任意人数」多人动作生成上做到 SOTA(InterHuman FID 4.772),同时推理比 FreeMotion 快约 5 倍。
- UniLS: End-to-End Audio-Driven Avatars for Unified Listening and Speaking
-
提出首个端到端统一说话-倾听面部表情生成框架UniLS,通过两阶段训练范式(先学内在运动先验、再用双轨音频微调),仅需双方音频输入即可同时生成自然的说话和倾听面部动作,倾听指标提升高达44.1%。
- Unleashing Vision-Language Semantics for Deepfake Video Detection
-
提出VLAForge,通过ForgePerceiver独立学习多样的伪造线索和伪造定位图,并结合身份感知的视觉-语言对齐(VLA)评分机制,释放VLM跨模态语义的潜力来增强深度伪造视频检测的判别能力,在9个数据集上全面超越现有SOTA。
- Unlocking Motion from Large Vision Models with a Semantic and Kinematic Duality for Gait Recognition
-
GaitMax 在冻结的 DINOv3 大视觉模型上同时挂一条「语义分支」(捕捉全局、序不变的整体轮廓)和一条「运动学分支」(用可学习 query 跟踪各身体部位的时空轨迹),再用一个把步态嵌入与服饰/视角等干扰因素文本描述做二阶统计去相关的损失 CDLoss 抑制捷径,配套自建带自然语言标注的 GCaption 数据集,在多个跨域步态基准上刷新 SOTA。
- ViBES: A Conversational Agent with Behaviorally-Intelligent 3D Virtual Body
-
提出 ViBES,一个统一语言、语音和身体动作的 3D 对话代理,通过模态专家混合(MoME)架构和跨模态注意力机制,在保留预训练语音 LLM 对话能力的同时生成时间对齐的面部表情和全身动作,超越了将行为视为简单"模态翻译"的范式。
- View-Aware Semantic Alignment for Aerial-Ground Person Re-Identification
-
针对无人机与地面相机间剧烈视角差异的空地行人重识别(AGPReID),本文提出 ViSA:不再追求"视角不变"地强行对齐共享部件,而是用一组视角感知专家(ETGM)生成自适应语义查询、再用双分支图推理(DLFM)把每个查询锚到它响应的局部区域,从而同时保留视角不变与视角特有的身份线索,在 CARGO 跨视角协议上把 mAP 拉高 10.06%。
- Vision-Language Attribute Disentanglement and Reinforcement for Lifelong Person Re-Identification
-
VLADR 提出利用视觉-语言模型(VLM)中的细粒度属性知识来增强终身行人重识别,通过多粒度文本属性解耦(MTAD)和跨域跨模态属性强化(ICAR)两阶段训练,显式建模跨域共享的人体属性以实现高效知识转移和遗忘缓解,在抗遗忘和泛化能力上分别超越 SOTA 1.9%-2.2% 和 2.1%-2.5%。
- WHU-MARS: A Multispectral Aerial-Ground Benchmark Towards Any-Scenario Person Re-Identification
-
论文提出"任意场景行人重识别"(AS-ReID)新任务——用单一模型在混合所有模态/视角的异构图库里做任意到任意检索,并构建了迄今最大的多光谱空地数据集 WHU-MARS(2,337 人、43 万张 RGB/近红外/热红外、地面+无人机),同时给出一个不需要多分支、不需要成对对齐的 UAD 框架,靠渐进式中心对齐 + 全局原型判别在 AS-ReID 上达到最佳且参数最省。
- WildCap: Facial Albedo Capture in the Wild via Hybrid Inverse Rendering
-
提出 WildCap,通过混合逆渲染框架(数据驱动 SwitchLight 去光照 + 基于模型的 texel grid lighting 优化 + 扩散先验采样),从手机野外视频中重建高质量 4K 面部漫反射 albedo 贴图,大幅缩小野外捕捉与受控光照方法之间的质量差距。