据爱范儿报道,Google DeepMind 10月27日发布新一代世界模型 Genie 4,单次可实时生成并交互的虚拟世界延长至约两分钟,首次加入原生音频,并引入 Gemini 负责任务规划。

Genie 4 延续该系列从视频中学习动作与环境变化的技术路线,此前 Genie 3 已实现实时生成与交互。谷歌演示显示,用户输入文字即可生成可探索场景,用键盘控制角色移动、调整镜头,并在运行中继续输入提示词改变天气、添加人物或物体。沃顿商学院教授伊桑·莫利克用一句“一座由机器人和马匹居住的新哥特式粗野主义城市”生成虚拟城市,随后加入巨龙和水獭 NPC;a16z 投资人贾斯汀·摩尔展示了在 AI 实时生成城市中自由探索的“GTA Waymo”演示。

在物理模拟方面,谷歌展示了西瓜受冲击、枫树种子飘落和拥挤乡村火车站等案例,呈现碰撞、空气动力学、重力和复杂人群行为。Genie 4 让虚拟角色更自然地移动并随环境变化作出反应。音频是此次升级重点:模型在生成世界的同时实时生成环境声音、音乐和人物对话,虚拟人物也可根据用户输入和场景变化动态生成语言与反应。

Gemini 的加入让世界模型承担更复杂的规划任务。Gemini Omni 为模拟提供现实世界的外观与行为基础,Gemini 3.8 Flash 充当实时引导智能体,观察生成画面、分解任务并判断步骤是否成功;Genie 4 生成虚拟世界,Gemini 规划接下来发生什么。谷歌还展示结合 Gemini 4 Argon 与 Genie 4 的实验:Gemini 4 Argon 分解任务,Genie 4 实时模拟 Apptronik 旗下 Apollo 人形机器人下跳棋。Google DeepMind 研究主管 Tejas Kulkarni 表示,未来重要方向是混合世界模型,将语言模型的结构化推理能力与世界模型的感官模拟能力结合。

谷歌已邀请电影、游戏、新闻、教育和工程等行业测试者探索 Genie 4 的应用,包括在电影制作中生成可探索场景并调整镜头、灯光、人物动作和对白,在游戏开发中测试美术风格和基础互动玩法。企业端可能用于工业仿真、机器人研发和复杂环境测试。不过,Genie 4 仍存在音频准确性和长期一致性问题,复杂物理交互、空间准确性及画面文字可读性有待改进;交互模拟时长约两分钟,时间延长后物体细节和场景一致性可能变化。

目前,Genie 4 已向部分受邀测试者开放研究预览,未来将通过 Project Genie 向 Google AI Ultra 订阅用户开放,并逐步提供给 Gemini API 和 Google AI Studio 早期合作伙伴。除谷歌外,Runway 已推出支持实时音频和交互的 GWM Worlds 2,World Labs 选择更强调三维环境重建和长期一致性的空间智能路线。