据雷峰网报道，在 IROS 2026 大会上，来自 UPenn、MIT 与 Stanford 联合团队的茅佳源介绍了 RAPID 闭环框架，并提出诊断“视觉会了、手却做不对”的 TR 指标。借助基于 TR 的自适应引导机制，团队将双臂机器人在复杂组合任务上的真机泛化成功率提升至 83%，RAPID 仅需一次人类演示即可泛化执行多种非抓取任务。
茅佳源首先指出当前“数据拟合”路线的瓶颈。以 Actor Labs 的挖掘机实验为例，其团队将 Physical Intelligence 的 π0.5 部署至挖掘机，结合工业操作员大规模真实数据训练策略；尽管仅用 200 条轨迹完成一项任务，但数据效率低、多任务受限。相比之下，人类仅凭单次演示即可理解物理逻辑并迁移至不同尺寸、材质物体甚至全新任务。
她提出将智能视为世界建模与规划，把机器学习与物理规划结合。团队引入组合式抽象表示：神经网络提取形状、姿态、材质等属性，符号逻辑定义动作与状态转移规则，并用状态转移图显式建立“动作-状态”演变机制。智能体无需记忆所有像素细节，可在执行前内部推演并规划动作序列，这成为从单次演示学习并强泛化的基础。
在动作生成上，团队将问题重新定义为约束优化：给定初始状态，求解使动作代价最小化的轨迹，同时满足动力学、无碰撞等路径约束，以及抓取、放置等子目标约束。学习被显式解耦为约束集与约束值，机器人无需从零学习物理法则。据雷峰网报道，在 MAGIC 项目“物品悬挂”任务中，传统模型规划单次求解超过 5 分钟；纯数据驱动方法在 10 万个合成水杯上训练，单次演示泛化成功率仅 42%；该框架通过视觉对应引导约束优化，将成功率提升到 93%。
在此基础上，团队构建 RAPID 架构。它把技能学习转化为由编程智能体与物理校验器构成的闭环编程循环：从单次演示中提取并切分推、翻转、支点旋转、抓取等基础原语；Coding Agent 将原语转化为以物体为中心的约束程序，脱离特定几何参数；校验器在 Real2Sim 仿真中验证并反馈修正。在涵盖书架、隔板等场景的 8 个复杂非抓取真机任务中，RAPID 组合多种原语，仅凭单次人类演示完成任务。
茅佳源还讨论了模块化系统与端到端模型的组合性差异。团队此前发表的 Retriever 框架将感知、推理与控制拆分为独立模块，并显式建模触发器与缓冲区，解决多频率异步下的闭环控制难题，在双臂机器人“给牛排撒调料”等长时程任务中验证了模块组合效率；但模块间信息流动受限，难以充分吸收不同任务间的协同效应。
为探索组合能力能否在端到端多模态大模型中自动涌现，团队进行了两次尝试。第一次是 AVDC 框架，用视频生成模型预测未来画面并翻译为机器人动作，可直接利用无动作标签视频数据预训练，具备跨本体泛化能力；但真机测试显示，该解耦范式主要支持基础抓取、移动与放置，面对翻转、按压、支点旋转等富接触操作，像素层面预测难以捕捉真实物理受力与精准接触点。第二次是视频-动作联合模型，采用 Cosmos Predict 2.5-2B 作为骨干网络，通过 Flow Matching 联合生成动作控制 Token，但实验表明统一模型不会自动涌现组合泛化能力，团队观察到视觉能泛化、执行却失效等问题。