据SiliconANGLE报道,谷歌10月28日预览了新一代世界模型Genie 4,该模型可根据自然语言描述生成具有真实感的三维环境,并允许用户实时操控其中的人物和场景。这是谷歌自2024年推出系列世界模型以来的最新版本。

与上一代模型相比,Genie 4在渲染流体运动和其他复杂细节方面表现更好,还能生成海浪拍岸等伴随音效。谷歌DeepMind员工Raia Hadsell、Diego Rivas和Hang Qi在博客中写道,Genie 4最显著的跃升在于模拟人物,生成的角色动作自然,能对环境作出有机反应,并可在实时交互中操控。

用户向Genie 4提供希望渲染内容的自然语言描述,即可创建虚拟世界,随后通过输入后续提示词浏览模拟环境并进行编辑。例如,用户可以要求Genie 4改变天气或增加物体,模型可在不降低虚拟世界照片真实感或一致性的情况下完成这些编辑。除自然语言界面外,用户还可使用键盘控制改变相机的位置和角度。

在技术层面,Genie 4借助谷歌其他模型提升输出质量。它依赖谷歌今年5月推出的视频生成器Gemini Omni,确保生成的视觉素材具有真实感;针对成本效率优化的推理模型Gemini 3.8 Flash则负责让模拟中的各个帧保持一致。DeepMind员工在博客中称,Gemini持续观察场景,将目标分解为一系列步骤,并检查传入帧以追踪进度、验证每一步是否成功;当世界发生变化或用户干预时,Gemini会即时调整计划。

DeepMind目前正在研究Genie 4在机器人领域的应用,该项目将该算法与谷歌旗舰级推理优化大语言模型Gemini 4 Argon结合。项目目标是让工程师通过高层指令模拟机器人。例如,用户可以要求Argon生成一段机械臂将两个汽车零件焊接在一起的合成视频,Argon能把简短请求转化为数十条详细的多句Genie 4提示词,每条分别描述焊接流程的一个步骤。增加并提供更精确的提示词可提升渲染质量,进而使机器人的模拟结果更适合用于AI训练。开发者通过向AI模型提供如何完成任务的视觉示例,训练其控制机器人。

谷歌目前正与少量早期采用者测试Genie 4,并计划通过面向消费者的Google AI Ultra订阅、Gemini API和Google AI Studio提供该模型。