谷歌 DeepMind 发布 Genie 4 世界模型,支持实时音频和场景编辑

GOOGL-0.98%
AMD-8.76%
AMZN-0.29%
RIVN-4.69%

关键要点

  • 谷歌 DeepMind 于周二发布了 Genie 4 世界模型,可根据文本提示生成照片级逼真的交互式世界,并支持实时音频以及在模拟过程中编辑场景。
  • Genie 4 可维持场景连贯性长达两分钟,并通过集成 Gemini 支持机器人模拟和实时自动化任务规划。
  • Genie 4 以研究预览版形式向可信测试人员开放,并将在未来几周内通过 Project Genie 向谷歌 AI Ultra 订阅用户推出。

Google DeepMind 周二以研究预览形式发布了最新世界模型 Genie 4。该模型能够生成照片级逼真的互动世界,并实时生成音乐、环境音效和互动对话等音频;用户还可以在模拟过程中输入提示词来改变场景。随着世界模型行业走向整合,AMD 收购了 World Labs,亚马逊正在洽谈收购 Decart,Rivian 则收购了 Third Dimension。Genie 4 的发布是 Google 在竞争激烈的领域中保持竞争力的最新举措。

Genie 4 打造照片级逼真的世界,支持实时音频和模拟过程中的编辑

Genie 4 能够生成 Google DeepMind 迄今最逼真、互动性最强的世界。该模型支持自由编辑,包括实时改变天气或摄像机角度,以及添加新人物或物体。它能让场景保持连贯,最长可达两分钟,是前代产品 Genie 3 时长上限的两倍,并拥有更出色的物理效果和更像人类的角色。Google 在一年多前以研究预览形式发布了 Genie 3。

此次发布距 AI 视频初创公司 Runway 发布 GWM Worlds 2 已有几个月。GWM Worlds 2 是一款可供用户游玩的模型,能够根据用户输入动态作出响应,并支持音频生成。

Gemini 集成赋能场景规划和机器人模拟

Google 的 AI 模型 Gemini 与 Genie 4 紧密集成,担任导演,负责规划步骤并检查画面,而 Genie 则负责生成视觉内容。在一项与 Gemini Robotics 相关的研究实验中,Gemini 4 Argon 模型将任务拆分成多个步骤,再由 Genie 4 实时模拟。该实验展示了一种方法,可以在机器人场景于现实世界中发生之前,先在模拟中进行测试。

Google 研究总监 Tejas Kulkarni 在一场简报会上表示:“未来我们将越来越多地看到这类混合世界模型:Gemini 负责编写代码和文本,Genie 则实时接收这些内容,并在不同抽象层级上模拟现实。”

商业应用场景涵盖游戏、学习、机器人和电影原型制作

提出的商业应用场景包括游戏、互动学习和机器人。一种设想中的互动学习方式,是进入一幅描绘历史场景的画作,并与画中人物交谈,了解画作所描绘的事件。

可信测试人员——也就是最先体验 Google 前沿产品的人——指出了一种可能的新用途:电影原型制作。Google DeepMind 工程师 Diego Rivas 在一场媒体简报会上表示:“在创意领域,实时交互在那些维持心流状态极其重要的场景中最有价值。例如,在构思阶段、故事板制作阶段——任何需要快速构思的时候。”

Google 还提供 Veo,这是一款 AI 视频生成模型,可根据文本、图像或视频提示生成带有内置同步音频的高清片段,在电影制作人中越来越受欢迎。Rivas 补充说,用户可以借助 Gemini Omni——一种能够根据图像、音频和文本生成视频的多模态大型语言模型——将这些原型转化为创意素材。

当前局限包括物体漂移和音频准确性不足

Rivas 强调,Genie 4 仍处于早期阶段,端到端的产品体验会是什么样子,目前还不清楚。团队承认 Genie 4 仍存在不足:模拟运行时间越长,细节和物体越可能发生漂移;他们也尚未完全弄清楚如何确保音频准确,以及世界中的文本清晰可读。

先向可信测试人员开放,随后扩展至 Google AI Ultra 订阅用户

Genie 4 现已作为研究预览版向可信测试人员开放。未来几周内,该模型将通过 Project Genie 向 Google AI Ultra 订阅用户推出。Project Genie 是 Google 用于根据文本或图像提示生成互动世界的 AI 工具;此外,Gemini API 和 Google AI Studio 的早期访问合作伙伴也将获得使用权限。

常见问题

Google DeepMind 周二发布了什么?

Google DeepMind 周二以研究预览形式发布了最新世界模型 Genie 4。该模型能够生成照片级逼真的互动世界,支持实时音频,用户还可以在模拟过程中输入提示词来改变场景。

Genie 4 与前代产品 Genie 3 相比如何?

Genie 4 能让场景保持连贯,最长可达两分钟,是 Genie 3 时长上限的两倍。它的画面真实感大幅提升,支持音频生成,允许用户自由编辑,例如实时改变天气或摄像机角度,并拥有更出色的物理效果和更像人类的角色。Google 在一年多前以研究预览形式发布了 Genie 3。

Genie 4 何时会向 Google AI Ultra 订阅用户开放?

Genie 4 现已作为研究预览版向可信测试人员开放。未来几周内,该模型将通过 Project Genie 向 Google AI Ultra 订阅用户推出,Gemini API 和 Google AI Studio 的早期访问合作伙伴也将获得使用权限。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论