10月20日,据雷峰网报道,北京大学副教授、启元机器人首席科学家董豪团队提出HIL-UMI(Human-In-the-Loop UMI),把人在环路纠错引入手持夹爪数据采集,试图在没有机器人本体参与的情况下完成后训练所需的高质量纠错数据采集。该工作论文编号为arXiv:2609.20659,项目主页同步公开。

具身机器人后训练长期依赖真机。雷峰网称,传统真机人在回路DAgger模式需要操作员在机械臂运行时持续盯守,在机器人即将抓空或碰撞时接管并录制正确轨迹,之后还要人工恢复被碰乱的现场。以整理桌面任务为例,真机HG-DAgger采集一帧有效数据耗时412.99毫秒,大部分时间消耗在机器人动作、人工接管和环境复位上。预训练虽已转向无本体设备采集,但后训练最关键的纠错环节仍缺少可行方案。

HIL-UMI的采集过程不要求机械臂在场。操作员手持UMI夹爪执行抓玩具、叠毛巾等任务,摄像头同步拍摄;后台模型接收相同画面和任务指令,预测接下来20步动作,但不控制任何机械臂。系统实时比对人的实际操作与模型预测,当两者分歧明显时提示操作员补录该段示范。按雷峰网的说法,人类在正常示范时,即可定点捕获模型在真实部署中容易出错的场景。

在技术实现上,HIL-UMI用并行采样多组动作块计算能量分布,判断模型是否进入分布外状态,以触发补录;同时引入优势估计器,根据前后画面评估动作对任务推进的程度,让模型优先学习能实质性推进任务的纠正动作。每轮补录后模型迭代,下一轮采集中原有分歧点减少,新的分歧向更深、更难的边缘场景转移,形成数据闭环。

雷峰网给出的四项真机任务测试包括折毛巾、整理桌面、叠方块和盖章。相同数据帧数预算下,持续增加普通示范做常规SFT微调,平均任务进度分从44.3升至58.0;采用HIL-UMI定向纠错后,平均分达到94.8,在叠方块和盖章任务上得分为100。整理桌面长程任务中,HIL-UMI单帧有效数据采集耗时73.40毫秒,相比真机HG-DAgger的412.99毫秒提升5.63倍。

雷峰网将HIL-UMI与真机遥操作、仿真与强化学习、海量视频预训练及传统UMI正向采集并列比较,称其借用了UMI的低成本与易规模化,同时保留DAgger的针对性纠错能力。董豪在采访中表示,“预训练提升的是下限,上限还得看后训练”,并称预训练和后训练不是简单的比例关系,而是阶段性更替。雷峰网还称,手持夹爪采集降低操作门槛,使后训练数据采集具备分布式进行的可能。