据MarkTechPost报道,Kyutai与Inria、École des Ponts于10月17日发布REKI,一个面向机器人操作的2.4B参数视觉-语言-动作模型。该模型仅用公开数据预训练,权重已在Hugging Face上线,采用CC BY-NC-SA 4.0许可,以BF16格式发布。

REKI由2.2B的Qwen3.5-2B视觉语言模型主干和0.2B的流匹配动作专家组成,动作专家以10步欧拉积分生成动作块。机器人状态与流时间通过自适应RMSNorm注入,每种机器人状态布局使用独立的小型状态MLP。

记忆机制被放在动作专家中。每帧动作token前设32个学习得到的寄存器token,它们交叉关注该帧编码后的提示与视图,并自关注此前帧的寄存器;寄存器不读取动作token,因此只依赖观测,不依赖流时间或机器人状态。寄存器每帧计算一次并缓存于滚动窗口,覆盖最近3帧、间隔1秒。项目页称,读取缓存寄存器为21.8毫秒的动作块增加0.1毫秒,每个过去帧约占2 MiB GPU内存。在RoboTwin上,加入记忆后机械臂在两姿态间振荡的回合占比从18.6%降至4.1%。

在NVIDIA H100上,编译后每动作块耗时21.8毫秒,输入来自两路256×256相机。REKI先预训练一次,再按基准分别微调。其在LIBERO-Plus得90.4%,在RoboTwin Clean2Rand得65.8%,在RoboCasa365得38.4%,在LIBERO四个套件得97.6%,RoboTwin 2.0简单与困难分别为85.9%和84.6%。Kyutai称,在仅用公开数据预训练的VLA中,REKI在LIBERO-Plus和RoboTwin Clean2Rand上表现最好,但在RoboCasa365上落后于小米-Robotics-1的57.4%。与Qwen-RobotManip相比,REKI在Clean2Rand上低2.7个百分点,在LIBERO-Plus和RoboCasa365上分别高于其89.0%和35.9%。预训练带来分布外提升,Clean2Rand增加13.8分,杂乱环境增加30.3分;记忆在LIBERO-Plus和RoboCasa365分别增加1.5分和5.4分。

训练数据混合包含10亿帧和1220万视觉语言样本,其中真实机器人遥操作6.398亿帧、仿真1.939亿帧、第一视角人类视频1.709亿帧,来源包括DROID、BridgeData V2、AgiBot World、EgoDex和EgoVerse。预训练在32块H100上运行20万步。Kyutai保留各数据集原生控制约定,不重映射动作。发布六个检查点:预训练基座以及LIBERO、RoboTwin两个变体、RoboCasa365和RoboCasa-GR1的微调版本。真实机器人部署采用LeRobot异步推理gRPC协议;在UR5机械臂上,每个任务用50条演示微调3000步、约1小时。