跳转至

🤖 机器人/具身智能

🔬 ICLR2026 · 46 篇论文解读

📌 同领域跨会议浏览: 📷 CVPR2026 (149) · 🧪 ICML2026 (42) · 💬 ACL2026 (10) · 🤖 AAAI2026 (30) · 🧠 NeurIPS2025 (75) · 📹 ICCV2025 (26)

🔥 高频主题: 机器人 ×12 · Agent ×9 · 多模态 ×8 · 强化学习 ×6 · 导航 ×3

All-day Multi-scenes Lifelong Vision-and-Language Navigation with Tucker Adaptation

提出Tucker Adaptation (TuKA),将多场景多环境的多层级导航知识表示为高阶张量,用Tucker分解解耦为共享子空间(核心张量+编解码器)和场景/环境专家向量,配合解耦知识增量学习策略实现全天候多场景终身VLN,在24个导航场景上的SR和遗忘率均优于LoRA变体。

AnyTouch 2: General Optical Tactile Representation Learning For Dynamic Tactile Perception

AnyTouch 2提出触觉动态金字塔框架,构建包含242.6万接触样本的ToucHD层级数据集(涵盖原子动作、真实操控和触力配对数据),并设计统一像素级、语义级和物理级三层次动态感知的触觉表征学习框架,在静态属性识别、动态物理预测和真实世界操控四项任务上全面超越现有方法。

APPLE: Toward General Active Perception via Reinforcement Learning

提出APPLE——一种结合强化学习与监督学习的通用主动感知框架,将主动感知建模为POMDP,奖励函数设计为RL奖励减去预测损失,梯度自然分解为策略梯度和预测损失梯度两部分,基于off-policy算法(SAC/CrossQ)和共享ViViT骨干网络,在5个不同任务基准上验证通用性,其中CrossQ变体无需逐任务调参且训练效率提高53%。

AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild

提出 AutoFly,一个面向无人机野外自主导航的端到端 VLA 模型,通过伪深度编码器从 RGB 输入推断空间信息,配合新构建的自主导航数据集(13K+ 轨迹含 1K 真实飞行),在模拟和真实环境中比 OpenVLA 成功率高 3.9%,碰撞率低 2.6%。

Cross-Embodiment Offline Reinforcement Learning for Heterogeneous Robot Datasets

系统研究跨形态离线 RL 预训练范式,发现次优数据比例和机器人多样性增加时梯度冲突导致负迁移,提出基于形态图距离的 Embodiment Grouping(EG)策略将机器人按形态聚类后分组更新 actor,在 16 种机器人平台的 locomotion benchmark 上显著缓解负迁移(70% 次优数据集上 IQL+EG 比 IQL 提升 34%)。

D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping

提出D-REX,一个基于高斯表示的可微real-to-sim-to-real引擎,通过视觉观测和机器人控制信号进行端到端物体质量辨识,并利用辨识的质量进行力感知的灵巧抓取策略学习,有效缩小了sim-to-real差距。

D2E: Scaling Vision-Action Pretraining on Desktop Data for Transfer to Embodied AI

提出 D2E 框架,证明桌面游戏交互数据可作为具身 AI 的有效预训练基底:通过 OWA 工具包收集 335h 人类演示 + Generalist-IDM 伪标注 1000+h YouTube 游戏视频 + VAPT 迁移训练,1B 参数模型在 LIBERO 操作达 96.6%、CANVAS 导航达 83.3%,匹敌或超越 7x 更大的模型。

Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization

提出 Distributionally Robust IGM (DrIGM) 原则,将分布鲁棒优化引入协作多智能体 RL 的值分解框架,使得 VDN/QMIX/QTRAN 等经典方法能够在训练环境与部署环境存在分布偏移时仍保持稳健的去中心化执行性能。

Embodied Agents Meet Personalization: Investigating Challenges and Solutions Through the Lens of Memory Utilization

本文通过 Memento 框架系统评估了 LLM 驱动具身智能体的记忆利用能力,发现现有 agent 能回忆简单物体语义但无法处理用户行为模式的序列信息,并提出了基于层次知识图谱的用户画像记忆模块来有效提升个性化辅助任务的表现。

Emergence of Spatial Representation in an Actor-Critic Agent with Hippocampus-Inspired Sequence Generator

受海马体 CA3 区内在递归回路启发,提出最小序列生成器(shift register)与 actor-critic 结合,在稀疏视觉输入下实现迷宫导航,同时涌现出位置场、DG 正交化、距离相关空间核和任务依赖重映射等神经生物学现象。

ExoPredicator: Learning Abstract Models of Dynamic Worlds for Robot Planning

提出 ExoPredicator 框架,联合学习符号化状态抽象和因果过程(含内生动作与外生机制),通过变分贝叶斯推断 + LLM 提议从少量轨迹中学习带随机延迟的因果世界模型,在 5 个桌面机器人环境中实现快速泛化规划。

Experience-based Knowledge Correction for Robust Planning in Minecraft

证明 LLM 无法通过 prompting 自我纠正其错误的规划先验知识(物品依赖关系),提出 XENON——通过算法化的知识管理(自适应依赖图 ADG + 失败感知动作记忆 FAM)从二值反馈中学习,使 7B LLM 在 Minecraft 长期规划中超越使用 GPT-4V + oracle 知识的 SOTA。

From Spatial to Actions: Grounding Vision-Language-Action Model in Spatial Foundation Priors

提出 FALCON(From Spatial to Action),通过将空间基础模型的丰富 3D 空间 token 注入到 Action Head 而非 VLM 主干中,实现了 VLA 模型的强 3D 空间感知,同时保持仅 RGB 到 RGB-D 的灵活模态切换,在仿真和真实世界任务中均达到 SOTA。

Grounding Generative Planners in Verifiable Logic: A Hybrid Architecture for Trustworthy Embodied AI

提出 VIRF(Verifiable Iterative Refinement Framework),通过神经-符号混合架构将确定性的逻辑导师(Logic Tutor)与 LLM 规划器结合,以可验证的形式化本体作为安全锚点,在 SafeAgentBench 上实现 0% 危险动作率(HAR)和 77.3% 任务完成率(GCR),证明严格安全保障无需牺牲智能体效用。

JanusVLN: Decoupling Semantics and Spatiality with Dual Implicit Memory for Vision-Language Navigation

受人类左脑语义理解、右脑空间认知的启发,提出 JanusVLN——首个为 VLN 设计的双隐式神经记忆框架,将空间几何记忆和视觉语义记忆分别建模为固定大小的 KV Cache,仅凭 RGB 视频即可实现高效空间推理,在 VLN-CE 基准上取得 SOTA。

MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation

受认知科学双重记忆系统启发,提出MemoryVLA框架,在VLA模型中引入感知-认知记忆库(PCMB),通过记忆检索、门控融合和整合机制捕捉长时序依赖,在SimplerEnv/LIBERO/真实世界150+任务上全面超越CogACT和π₀。

MolLangBench: A Comprehensive Benchmark for Language-Prompted Molecular Structure Recognition, Editing, and Generation

提出 MolLangBench 基准,通过自动化工具和专家标注构建高质量、无歧义的分子-语言接口评估数据集,覆盖识别/编辑/生成三类任务和 SMILES/图像/图三种模态,评估 16+ 个商业 LLM 和 5 个化学模型,揭示即使 GPT-5 在基础分子操作上仍显著不足(生成仅 43%)。

MoMaGen: Generating Demonstrations under Soft and Hard Constraints for Multi-Step Bimanual Mobile Manipulation

MoMaGen 将双臂移动操作的演示数据生成建模为约束优化问题,通过硬约束(可达性、无碰撞、可见性)和软约束(导航中物体可见性、收回紧凑姿态)的协同,从单个人类遥操作演示自动生成大规模多样化数据集,训练出的视觉运动策略仅用 40 个真实演示微调即可部署到实体机器人。

MVR: Multi-view Video Reward Shaping for Reinforcement Learning

提出 MVR 框架,利用多视角视频的视频-文本相似度学习状态相关性函数,结合状态依赖的奖励塑形(自动衰减 VLM 引导),在 HumanoidBench 和 MetaWorld 共 19 个任务上超越现有 VLM 奖励方法。

Nonparametric Teaching of Attention Learners

提出AtteNT——从非参教学理论视角重新解释注意力学习器(Transformer/ViT)的训练过程:解析注意力在参数梯度中的重要性自适应角色→证明动态ANTK收敛到功能梯度中的重要性自适应典范核→桥接参数空间与函数空间→用贪心教学算法选择预测偏差最大的样本加速训练→LLM微调省时13.01%/ViT从头训练省时20.58%且精度不降反升。

OmniEVA: Embodied Versatile Planner via Task-Adaptive 3D-Grounded and Embodiment-aware Reasoning

提出OmniEVA——通过任务自适应门控路由器动态注入3D位置编码(仅在需要时启用几何推理)和具身感知推理框架(将物理约束融入规划循环),解决了空间MLLM的两大gap:几何适应性差(2D-only或硬编码3D)和具身约束缺失(理论可行但实际不可执行的计划),在8个基准中7个达到SOTA。

On Entropy Control in LLM-RL Algorithms

从理论解释为什么传统熵正则化在LLM-RL中几乎无效(因极大动作空间+稀疏最优导致熵偏差压倒优化增益),提出AEnt方法用截断熵(在缩小的token空间上计算)+自适应系数来有效平衡偏差与收益,在数学推理上持续超越baseline。

One Demo Is All It Takes: Planning Domain Derivation with LLMs from A Single Demonstration

提出 PDDLLM 框架,仅需一个演示轨迹即可自动推导完整的 PDDL 规划域(谓词+动作),通过 LLM 推理与物理仿真的交叉验证生成可解释的符号表示,并借助逻辑约束适配器 (LoCA) 自动对接运动规划器,在 9 个环境 1200+ 任务中成功率领先 6 个 LLM 基线至少 20%,且成功部署于 3 个物理机器人平台。

Partially Equivariant Reinforcement Learning in Symmetry-Breaking Environments

提出部分群不变MDP (PI-MDP) 框架,通过可学习的门控函数 \(\lambda(s,a)\) 在状态-动作空间中逐点切换等变与标准Bellman更新,从理论上证明局部对称性破缺会经过折扣回溯放大 \(1/(1-\gamma)\) 倍产生全局值函数误差,而PI-MDP可将误差严格限制在破缺区域内;实例化为PE-DQN和PE-SAC两种算法,在Grid-World、MuJoCo运动、机械臂操作等任务上全面超越严格等变和近似等变基线。

Real-Time Robot Execution with Masked Action Chunking

提出REMAC,通过掩码动作分块训练策略和前缀保持采样管线,系统性解决异步推理下的段内不一致(intra-chunk inconsistency)和段间不连续(inter-chunk discontinuity)两大问题,在不引入额外推理延迟的前提下实现更可靠的实时机器人控制。

REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?

首次系统研究人类模糊指令中的指称表达(Referring Expressions)对LLM机器人任务规划的影响——构建REI-Bench基准建模9级共指模糊度(3级RE难度×3级上下文),发现隐式RE可使现有规划器成功率下降高达36.9%,提出Task-Oriented Context Cognition (TOCC)方法将任务理解与规划决策解耦,平均提升成功率6.5%。

Rethinking Policy Diversity in Ensemble Policy Gradient in Large-Scale Reinforcement Learning

从理论上分析了集成策略梯度方法中策略间多样性对学习效率的影响,提出通过KL散度约束调控多样性的Coupled Policy Optimization(CPO),在大规模并行环境中实现高效稳定的探索。

RF-MatID: Dataset and Benchmark for Radio Frequency Material Identification

构建了首个开源的大规模、宽频段(4-43.5 GHz)、几何扰动多样的 RF 材料识别数据集 RF-MatID,包含 16 种细粒度材料类别(5 大类)/142K 样本,并建立了覆盖 9 个深度学习模型、5 种频率协议、7 种数据划分的系统基准。

RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots

RoboCasa365 构建了一个包含 365 个日常厨房任务、2500 个多样化厨房场景和超过 2000 小时机器人交互数据的大规模仿真基准,系统评估了多任务学习、基础模型训练和终身学习三大范式下通用机器人策略的性能表现,发现预训练数据的任务多样性是提升下游泛化能力的关键因素。

RoboInter: A Holistic Intermediate Representation Suite Towards Robotic Manipulation

提出 RoboInter 操作套件——统一的中间表示数据/基准/模型资源:RoboInter-Tool(半自动标注 GUI)+ RoboInter-Data(23 万 episode × 571 场景 × 10+ 类中间表示的密集逐帧标注)+ RoboInter-VQA(29 类具身 VQA 基准)+ RoboInter-VLA(支持模块化和端到端的 plan-then-execute 框架),为通过中间表示提升 VLA 泛化提供完整基础设施。

RoboPARA: Dual-Arm Robot Planning with Parallel Allocation and Recomposition Across Tasks

提出 RoboPARA 框架,通过依赖图构建和图重遍历两阶段优化双臂机器人的任务并行性,在多场景基准上实现相比现有方法 30-50% 的执行时间缩减和 34% 的成功率提升。

RRNCO: Towards Real-World Routing with Neural Combinatorial Optimization

提出 RRNCO 架构,通过自适应节点嵌入(ANE)和神经自适应偏置(NAB)两大创新,首次在深度路由框架中联合建模非对称距离、时长和方向角,并构建了基于 100 个真实城市的 VRP 基准数据集,显著缩小了 NCO 方法从仿真到真实世界部署的差距。

Scalable Exploration for High-Dimensional Continuous Control via Value-Guided Flow

提出Qflex(Q-guided Flow Exploration)——在高维连续动作空间中实现可扩展探索的RL方法:从可学习源分布沿Q函数诱导的概率流传输动作→探索与任务相关梯度对齐(而非各向同性噪声)→在多种高维基准上超越高斯/扩散RL基线,成功控制700执行器的全身人体肌骨模型执行敏捷复杂动作。

Sparse Imagination for Efficient Visual World Model Planning

提出 Sparse Imagination,在基于 ViT patch token 的世界模型规划中通过随机丢弃 token 和随机分组注意力训练实现大幅推理加速(50% 丢弃率可减少约 50% 规划时间),同时保持甚至在某些任务上超越全量 token 的规划性能。关键发现是简单随机丢弃优于复杂的 token 选择方法,原因是静态重要性排序在动态规划场景中存在"盲点问题"。

ST4VLA: Spatially Guided Training for Vision-Language-Action Models

提出 ST4VLA,通过两阶段空间引导训练(spatial grounding pre-training + spatially guided action post-training),将 VLM 的空间先验显式注入 VLA 策略学习,在 SimplerEnv 上将 Google Robot 成功率从 66.1% 提升至 84.6%,WidowX 从 54.7% 提升至 73.2%,达到 SOTA。

Statistical Guarantees for Offline Domain Randomization

将离线域随机化(ODR)形式化为参数化仿真器族上的最大似然估计问题,在温和的正则性和可辨识性假设下证明了弱一致性(依概率收敛),进一步添加均匀Lipschitz连续假设后证明了强一致性(几乎必然收敛),为ODR在sim-to-real迁移中的经验成功提供了首个理论基础。

Test-Time Mixture of World Models for Embodied Agents in Dynamic Environments

Theory of Space: Can Foundation Models Construct Spatial Beliefs through Active Exploration?

提出Theory of Space框架,通过文本和视觉双环境中的主动探索、认知地图探查和False Belief范式,系统性评估基础模型构建和修正空间信念的能力,揭示了当前SOTA模型在主动-被动性能差距、探索效率和信念修正方面的关键失败模式。

Token Taxes: Mitigating AGI's Economic Risks

提出 Token Tax(基于模型推理 token 使用量的附加税)作为缓解后 AGI 时代经济风险的一线治理工具——利用云计算提供商作为中介实施三阶段审计管道(黑盒 token 验证 → 基于规范的税率 → 白盒审计),相比传统机器人税具有两大独特优势:可通过现有计算治理基础设施执行,以及在 AI token 使用地而非模型托管地征收以缓解全球不平等。

Towards Bridging the Gap between Large-Scale Pretraining and Efficient Finetuning for Humanoid Control

LIFT提出预训练-微调三阶段框架:(i) 大规模并行SAC预训练实现零样本部署;(ii) 基于拉格朗日动力学的物理先验世界模型离线预训练;(iii) 确定性动作执行+世界模型内随机探索的高效微调,在Booster T1和Unitree G1人形机器人上验证了从仿真到真实世界的全流程。

TPRU: Advancing Temporal and Procedural Understanding in Large Multimodal Models

TPRU构建了大规模多图像时序理解数据集(24,750个QA对、126,000张图像),覆盖机器人操作、GUI导航等4个具身场景的3种互补任务(时序排序、下一帧预测、前帧回溯),并通过强化学习微调使7B模型在时序理解上超越GPT-4o。

TwinVLA: Data-Efficient Bimanual Manipulation with Twin Single-Arm Vision-Language-Action Models

提出TwinVLA——将两个预训练单臂VLA通过联合注意力和MoE组合为双臂VLA的模块化框架,仅需~800h公开单臂数据+50 episode双臂微调数据+25 H100 GPU-days,即可匹及使用10,900h私有数据+1,000+ GPU-days的π0性能水平。

UrbanVerse: Scaling Urban Simulation by Watching City-Tour Videos

UrbanVerse是一个数据驱动的real-to-sim系统,将众包城市旅拍视频转化为物理感知的交互式仿真场景,包含10万+标注3D资产和自动场景构建流水线,在IsaacSim中生成160个高质量场景,训练的PPO导航策略在真实世界零样本转移中成功率达89.7%,完成337m长距离任务仅需2次人工干预。

Visual Planning: Let's Think Only with Images

提出Visual Planning——首个纯视觉推理范式:规划过程完全由图像序列表达(无文本中介),用Large Vision Model自回归生成逐步状态图像;引入VPRL两阶段RL框架(随机轨迹初始化探索+GRPO进度奖励优化),在FrozenLake/Maze/MiniBehavior三个导航任务上平均EM超越文本推理方法27%,证明"vision-first"任务中图像推理远优于文本推理。

VLBiMan: Vision-Language Anchored One-Shot Demonstration Enables Generalizable Bimanual Robotic Manipulation

提出VLBiMan框架,通过任务感知双臂分解将单次演示拆分为不变/可适应原子技能,利用VLM视觉-语言锚定在新场景中适应物体位置和实例变化,结合运动学感知的轨迹组合实现双臂协调——在10个复杂双臂任务上以1次演示达到85.3%成功率远超需上百次演示的模仿学习基线。

When would Vision-Proprioception Policies Fail in Robotic Manipulation?

揭示视觉-本体感觉操作策略在运动转换阶段(motion-transition phases)会失效的原因——本体感觉信号在优化中占主导导致视觉学习被抑制,并提出Gradient Adjustment with Phase-guidance (GAP)算法,通过自适应调低本体感觉梯度来恢复视觉模态的学习,在仿真和真实环境中均显著提升策略的泛化性。