据量子位报道,9月3日,自变量发布灵巧操作系统TwinDex。该系统在机器人后训练阶段真机遥操数据为零的情况下,仅依靠数百条无本体数据,便让机器人连续完成化学实验中的旋拧瓶盖、注射器推注等精细操作。这意味着以往灵巧操作训练高度依赖真机遥操的模式正在被改变。
Demo展示中,TwinDex执行了一镜到底的化学实验流程,包含开瓶取样、滴管与试管操作、玻璃棒引流、摇匀观察等24个子动作,涉及三种工具和多次双手协调与工具切换。实验要求毫米级定位与稳定力控。例如打开工具箱时,机器人需让两根食指同时对入狭窄卡扣下拨,再用食指和拇指捏住提手开箱;注射器推注则要固定筒身、拇指对准推杆精确发力。TwinDex还展示了三指协作抓持工具、侧摆旋拧瓶盖、搓起书页翻页等操作。这些动作过去常被视为需要五指灵巧手和大量真机遥操数据,如今三指构型即可完成。
TwinDex并非单纯的灵巧手,而是一套由数据采集硬件、末端执行器、数据处理管线和模型训练流程组成的灵巧操作系统。其关键设计是“数采与执行同构”:数据采集端是一套可穿戴三指外骨骼,与机器人执行端使用完全相同的结构和驱动方式,采集动作可直接映射到执行端,避免两套硬件间的运动学差异和精度损失。相当于把原本需要在数据处理阶段完成的“本体对齐”,提前到了数据产生之前。
这一设计也体现在成本与效率上。TwinDex单位时间产出的有效轨迹约为传统真机遥操的5.3倍,一名采集员可在更短时间内积累可用训练数据。实验显示,随着数据量增加,无本体数据训练与真机遥操数据训练的策略以相同速率提升并收敛到接近表现,在该实验覆盖的任务中无本体数据接近100%可替代真机遥操数据。
TwinDex的硬件采用三指九自由度方案。自变量在对比多种候选构型后认为,三指九自由度是灵巧性、稳定性和工程复杂度之间的折中,既能覆盖旋拧、掌内调整、多点接触等操作,又能避免五指带来的标定、控制与维护成本。数据采集端不占用真实机器人,多名操作员可在不同地点佩戴外骨骼同时采数,系统会同步记录视觉、关节状态和手腕位姿等多模态信息,经标定和时间同步后送入统一训练空间。
今年5月,英伟达机器人负责人Jim Fan曾公开宣称“VLA、遥操已死”,当时被大多数人视为暴论。TwinDex的实际结果让这一论断获得部分验证,但在数据配方尚未收敛的阶段,仍不能宣布遥操彻底退出。正如自变量所展示的,每扩展到一个新任务都必须从真机遥操数据开始的时代正在结束。