Block 于 10 月 23 日发布了一款名为 Dessa 的新语音 AI 模型,该消息由公司创始人 Jack Dorsey 宣布。该模型可在单块英伟达 GPU 上本地运行,并完全使用人类语音进行训练,能够生成听起来自然的表达,包括笑声、停顿和情绪语调。Block 开发 Dessa,旨在解决该公司所称的当前语音 AI 系统的局限性:这类系统会将语音转换为文本,并在此过程中丢失情绪信息。近期,语音 AI 市场迎来了竞争对手发布的新产品,包括 OpenAI 的 GPT-Live 模型和 ElevenLabs v4,各家公司都在竞相打造更像人类的对话代理。
Dessa 是一款全双工语音模型
Dessa 是一款全双工模型,能够同时进行说话和聆听,类似于 OpenAI 今年早些时候发布的 GPT-Live 模型。Block 表示,Dessa 的知识源自对话数据,而不是通过与大型语言模型配对来检索知识。该公司表示,这款模型可在消费级电脑上运行,包括 MacBook M4 Max 或性能更好的设备。
Jack Dorsey 在 Twitter 上表示:“我们相信,语音是与智能互动最自然的方式,因此我们打造了 Dessa,这是迄今为止最真实的全双工语音模型。与它交谈就像与一个人交谈……充满情绪、细微差别、停顿,以及自然的节奏。”
Block 将 Dessa 与基于文本的语音系统进行比较
Block 在一篇博客文章中表示,当前的语音 AI 系统会将语音转换为文本,丢弃文本无法承载的信息。该公司表示:“与当前语音 AI 互动简直糟透了。它把你的声音转成文本,并抛弃了大量仅靠文本无法承载的信息。世界上最强大的 AI 都听不出你的感受。我们认为这很荒谬,会带来更糟糕的体验,而且可能很危险。”
该公司指出,ElevenLabs v4 和 Fish Audio Drama 3 等现有模型会使用语音标签来驱动语音生成中的情绪表达。Block 声称,情绪已融入 Dessa 模型,但该公司并未说明是否会通过标签来引导情绪。
公司展示情绪化语音能力
Block 的研究人员发布了多个对话示例,展示 Dessa 使用不同的声音、节奏和情绪。在一段演示中,机器人说自己工作累了,听起来也很疲惫。另一个示例中,机器人谈论安慰他人时听起来情绪激动,几乎要崩溃。第三段演示中,一名 Block 团队成员与语音助手玩猜谜游戏,模型正确猜出了答案。
研究员 Ragavan Thurairatnam 在 Twitter 上表示:“我们打造了第一个完全通过语音训练、可以与之进行真实对话的 AI 模型!Dessa 是一款全双工语音到语音模型,可在消费级 GPU 上运行。这是语音领域的 GPT3 时刻。”
Block 限制访问以进行安全测试
Block 尚未向公众开放 Dessa。该公司呼吁安全研究人员测试该模型,可能是为了评估语音代理在何种情况下可能欺骗人们。公告中未提供公开发布的时间表。
Square 已将语音 AI 用于商业订单
Block 旗下的支付解决方案业务 Square 已经使用语音 AI 为小型企业处理订单。Block 表示,凭借能够在设备端运行的自有语音模型,该公司可以以更低成本支持更多商业和消费体验。Block 涉足金融行业,并向小型企业销售解决方案。
常见问题
Block 于 10 月 23 日发布了什么?
Block 发布了 Dessa,这是一款可在单块英伟达 GPU 上本地运行、完全使用人类语音进行训练的语音 AI 模型。该模型能够生成听起来自然的表达,包括笑声、停顿和情绪语调。
Dessa 与其他语音 AI 系统有何不同?
Block 表示,Dessa 是一款全双工语音到语音模型,不会将语音转换为文本,因此能够保留基于文本的系统会丢弃的情绪信息。该公司声称,情绪已融入模型,而不是像竞争对手使用的 ElevenLabs v4 和 Fish Audio Drama 3 那样通过语音标签添加。
公众可以使用 Dessa 吗?
公众目前无法使用 Dessa。Block 呼吁安全研究人员测试该模型,但尚未公布公开发布的时间表。