据量子位10月18日报道,VAST正式发布并开源实时世界模型EdenLive,称其首次在实时生成的前提下同时实现任意参考输入、任意画风生成和长时连续运行。该模型面向可交互内容的实时视觉渲染,模型权重、推理代码、技术报告和端到端Demo已同步开放。
据VAST介绍,在单张消费级显卡Nvidia RTX 5090、720P条件下,5B参数的EdenLive生成速度超过24FPS,可连续生成分钟级画面;从用户输入操作到对应画面出现,端到端延迟为百毫秒级。其输入由参考画面、目标首帧和提示词共同构成,参考画面提供场景布局、镜头与运动,目标首帧设定外观和画风,提示词补充风格与细节。
量子位报道的演示覆盖交互式游戏预览、场景与动画预览、视频重渲染与换皮以及具身数据增强。在游戏预览中,2D和3D场景均可接入,EdenLive更适合场景漫游、推箱子等交互相对低频的玩法;在双人对打演示中,角色动作与血条、回合计时等状态配合呈现。已有视频可实时替换角色形象、画面内容和整体风格,实拍房屋可转成手绘动画风格,真人操作画面也可转成机器人视角,用于扩展具身研究视频样本。
技术路线上,EdenLive采用“解耦世界状态与视觉渲染”的设计,由上游交互系统维护交互规则和世界状态,生成模型负责视觉渲染。VAST称,这一分工在其今年6月初公开的Project Eden研究预览中已经提出,EdenLive是该项目聚焦实时生成式渲染的阶段性成果。其数据管线覆盖2D、3D简化场景、引擎渲染和真实视频等多种来源的成对数据,团队协作涉及3D、视频生成与系统工程。
VAST也说明了现阶段的限制:高频、激烈交互对生成速度和动作呈现提出更高要求,多角色同时出现时的身份保持、小物体精细控制以及长时间生成中的视觉一致性仍有提升空间。官方同时开源Game Prototype Turbo,一款“Prompt to Proxy Game”Skill,用户可快速生成可直接游玩的游戏原型,交互系统持续更新状态并输出简化参考画面,再由EdenLive实时渲染为精细画面。