谷歌发布 Genie 4 世界模型:加了音频,还能实时改场景
10月28日,据报道,谷歌 DeepMind 周二以研究预览形式发布世界模型 Genie 4,它生成了迄今最逼真、最具互动性的虚拟世界,允许用户在模拟过程中输入提示改变场景,还能生成与环境匹配的实时音频。
相比一年多前的前代 Genie 3,Genie 4 除了更逼真、加入音频,还支持自由形式编辑,比如实时改变天气或机位、添加新人物和物体;一致场景可维持两分钟,是前代上限的两倍,物理效果和角色表现也更接近人类。谷歌的 Gemini 与 Genie 4 集成更紧密,充当“导演”规划步骤并检查画面,Genie 负责生成视觉内容。在与 Gemini Robotics 相关的实验中,Gemini 4 Argon 把任务拆解为步骤,由 Genie 4 实时模拟,展示了先在模拟中测试机器人场景的路径。
这条赛道正在快速整合:Runway 几个月前发布 GWM Worlds 2,李飞飞的 World Labs 正被 AMD 收购,亚马逊在洽谈收购 Decart,Rivian 收购 Third Dimension 做自动驾驶测试。Genie 4 是谷歌保持领先的最新动作。除了游戏、互动学习和机器人,首批测试者更看好电影原型制作,谷歌工程师里瓦斯称,实时性最有价值之处是创作中的心流状态,比如构思和分镜阶段。
谷歌也承认差距:模拟运行时间越长,细节和物体越可能漂移,音频准确性和世界内文字清晰度也还没完全解决。Genie 4 目前已向可信测试者开放,未来几周将开放给 Google AI Ultra 订阅用户,以及 Gemini API 与 Google AI Studio 的早期访问合作伙伴。