据MarkTechPost 10月23日报道,Kyutai发布名为CADRE的开放因果扩散表示自编码器,面向交互式世界模型,目标是把动作延迟压到230毫秒以内。

CADRE包含7个视频自编码器,每个约有4.76亿训练参数,并搭配一个冻结的8600万参数DINOv3 ViT-B/16;配套世界模型为12亿参数,视频规格为288×512、20帧每秒,可在单张H100上以bf16、批大小为1运行。编码器沿用MIRA方案:冻结的DINOv3逐帧提取图块特征,再由一个训练过的三维卷积压成64通道潜变量,7个成员之间只改变这一瓶颈。解码器是24块因果扩散Transformer,按块流式解码,通过渐进自蒸馏在单阶段训练中学会1至2步解码,不使用对抗损失。训练数据来自23个公开视频源、约7.6万小时,覆盖网页、机器人、驾驶和游戏视频。权重采用CC BY-NC 4.0与DINOv3许可证,量化变体未披露。

CADRE把压缩写成τ×s×s,τ是每个潜变量包含的帧数,s是空间因子。论文给出的延迟为τ/f加上生成与解码时间;当τ=8、帧率为20帧每秒时,仅分块就增加400毫秒。论文称,人对自身动作滞后的感知阈值约为230毫秒。

评测中,Kyutai把同一个12亿参数因果扩散Transformer分别训练在每个自编码器上,使用机器人操作(ABC)、人类操作(EgoDex)、驾驶(PhysicalAI AV)和室内导航(RealEstate10K)四个环境;每个模型先看2秒真实视频,再生成4.8秒,指标包括FID、FVD和ARR,ARR由冻结的逆动力学探针计算,1代表与真实视频一致。单张H100上,CADRE-2×32×32在1步解码时响应185毫秒、最高维持23.4帧每秒;Wan 2.2为317毫秒,LTX-2为492毫秒,Cosmos为605毫秒,DC-AE更快,为118毫秒,但逐帧处理。驾驶场景中,CADRE-2×16×16的FVD为162.6,Wan 2.2为599.7,LTX-2为913.3。论文称,CADRE在48项与MIRA、Wan 2.2、Cosmos和LTX-2的对比中,42项做到速度不慢且质量更好。上述数据均为Kyutai自报。

论文列出四点发现:在强压缩下,感知回归会变模糊,而扩散解码可采样出清晰视频;把时间压缩放进世界模型而非自编码器会丢失细节,8帧时ARR从0.72降至0.56;相机运动决定压缩取舍,静止相机可容忍时间压缩,运动相机更适合更少帧数和更粗空间标记;粗标记首先损害运动,机器人操作中32×空间压缩使FVD相对16×扩大2.4倍,FID变化很小。

CADRE并非全面领先:机器人操作中,Cosmos的FVD为39.5,最好的1步CADRE为47.6;CADRE-2×32×32的ARR为0.45,Wan 2.2为0.85;在快速端,DC-AE在操作任务上快于CADRE-1×48×48;Wan 2.2在留出视频重建上的PSNR为35.02 dB,高于CADRE的25.12 dB。Kyutai团队认为重建质量不能预测推演结果,Wan 2.2在室内推演FVD上排名最后;长潜变量还会在分块间留下可见接缝,τ=8时边界超额在各环境中达到1.6至1.8。