据量子位报道,清华唯一持股的嫡系具身公司星动纪元自研的世界动作模型VPP2近日登顶RoboDojo仿真榜单,综合平均成功率为32.26%,综合平均得分39.26分,两项指标均列第一。该榜单由香港大学MMLab牵头,全球近20所顶尖学术机构共同建设。
RoboDojo仿真测试包含42项双臂操作任务,覆盖泛化、精准操作、长程任务、记忆和开放词汇指令理解五个维度。VPP2在综合成绩之外,泛化能力、精细操作、记忆能力三个维度也排名第一。量子位报道称,VPP2没有额外加数据,也没有使用Agent RSI等增强手段,仅靠标准数据集取得上述结果。
在RoboDojo仿真基准的后训练评测中,GPT-6-Astra的平均成功率为22.48%,平均得分28.97分。VPP2分别领先9.78个百分点和10.29分。成功率衡量机器人能否完整完成任务,平均得分则反映任务推进程度,两项指标均综合五个能力维度的测试结果。
仿真榜单之外,星动纪元将VPP2部署到真实ALOHA双臂机器人,测试抓取、放置、堆叠、折叠、倾倒等10类零样本操作任务,未针对这些任务额外微调。结果显示,VPP2平均成功率58.5%,高于π0.5的40%,并在10类任务中拿下9类最佳成绩。
VPP2走的是世界动作模型路线,即借助视频预测理解物理世界变化,再转化为机器人动作。这条路线长期面临的问题是视频预测质量与动作执行能力脱节。星动纪元选择将视频预测与动作学习分阶段训练,把两者解耦并重新排序。
其训练策略分三阶段:先进行事件级视频继续预训练,让模型学习完整操作过程;再进行固定时长视频后训练与蒸馏,使预测速度匹配机器人实时执行;最后训练动作专家,将视频预测转化为动作,同时尽量保留泛化能力。VPP2以阿里开源的Wan2.1-I2V-14B为基础,整合机器人操作、人类活动、通用视频等数据,并将操作过程切分成语义完整片段并配详细描述。
在机器人操作视频的指令遵循测试中,14B参数的VPP2成功率达到90%,64B参数的Cosmos3模型为78%。在速度方面,VPP2将事件级预测模型调整为固定8秒视频片段预测,通过一致性蒸馏将多步计算压缩为单步生成,预测未来8秒视觉变化耗时约0.12秒。动作侧引入0.9B参数的扩散Transformer,采用MoT架构,动作训练初期冻结视频模型基础参数,仅通过LoRA适配。最终视频预测约耗时0.12秒,动作专家约耗时0.1秒,整体动作片段生成延迟约0.22秒。
泛化测试中,LIBERO-Pro考察物体位置和任务要求变化后的操作能力,VPP2总体成功率为45.0%,其他基线模型最高为11.0%。LIBERO-OOD考察熟悉物体、布局和任务目标的重新组合,VPP2总体成功率为63.9%。
在更高层规划上,星动纪元采用VLM高层规划器负责语义理解、记忆和任务拆解,再将子任务交给VPP2执行。在RoboDojo选定的长程任务测试中,引入VLM子任务规划后,平均成功率从27.6%提升至57.6%。量子位报道提到,GPT负责理解、推理和规划,VPP2负责预测物理变化并生成动作,这一分工可能形成通用认知与通用物理执行结合的物理AI路径。星动纪元同时做大脑、本体和灵巧手,其“深全栈”战略涵盖训练、能力落地与反馈回流环节。