蚂蚁 InclusionAI 开源 Ming-3.0-TTS:AI 分析与控制让语音霸榜,发音正确率达 93.2%

关键要点

  • 蚂蚁集团的 inclusionAI 团队于 10 月 20 日开源了 Ming-3.0-tts 语音生成模型系列。
  • Ming-3.0-tts 的发音准确率达到 93.2%,在 AI 分析的受控语音排行榜上位列开源模型第一。
  • 模型权重已在 Hugging Face 和 ModelScope 上以 MIT 许可证发布,代码已上传至 GitHub。

蚂蚁集团旗下 inclusionAI 团队于 10 月 20 日开源 Ming-3.0-TTS 语音生成模型系列,旨在将细粒度语音控制整合到足够小、可本地部署的模型中;代码、任务手册与评估表已上传至 GitHub,模型权重发布于 Hugging Face 和 ModelScope,均采用 MIT 许可证。

inclusionAI 发布 Ming-3.0-TTS:代码与评估表上传至 GitHub

Ming-3.0-TTS 的代码、任务手册与评估表均已上传至 GitHub,模型权重发布于 Hugging Face 和 ModelScope,所有内容均采用 MIT 许可证。两款模型共享同一生成框架:文本与特定任务的控制 token 共同构成语言模型的输入,由语言模型驱动 DiT 补丁头(DiT patch head)和音频分词器(audio tokenizer)生成语音。

两款模型规格:0.5B 稠密模型约含 5 亿参数

此版本包含两款模型。Ming-3.0-TTS-0.5B 采用稠密架构,约含 5 亿个参数,适合资源受限的本地部署场景。Ming-3.0-TTS-Tiny 则是基于蚂蚁 Ling V3 架构的混合专家(MoE)模型,总参数量为 79 亿,每个 token 激活的参数量为 13 亿,并额外支持多说话者播客对话功能,专为长篇音频设计。两款模型均采用相同的生成框架。

功能清单:语音克隆、文本设计新声音

Ming-3.0-TTS 的功能以独立任务模式运行,不支持任意组合,主要功能如下:

语音克隆:从参考语音中复制说话者特征

文本设计新声音:根据纯文本描述设计全新的声音

内置语音库:提供 100 多种中文语音和 5 种英文语音供选择

自然语言指令控制:直接调整语气、语速、音调和音量

14 个副语言标签:插入中文和英文笑声、叹息声及其他语音效果

语言支持:中文、英语、德语、西班牙语、法语、韩语、日语,以及四川话和粤语

多说话者播客功能(仅限 Tiny 版):根据脚本和说话者参考音频生成多说话者长篇对话

基准测试:NVBench 六项副语言指标均达开源最佳

截至 2026 年 10 月,Ming-3.0-TTS 在以下基准测试中取得开源模型最佳成绩:在 AI 分析控制语音排行榜中位列所有开源模型第一;发音鲁棒性排名第一,93.2% 的标记片段发音正确;在 NVBench 的六项单标签副语言指标上均达到开源最佳;Ming-3.0-TTS-0.5B 在粤语基础集上的错误率为开源模型最低;Ming-3.0-TTS-Tiny 在德语和西班牙语上的词错误率为开源模型最低。团队提醒,随着新模型加入,上述排名可能发生变化。

已知限制与路线图:新增语言相似度偏低,情绪识别受文本影响

README 文件坦诚列出了以下限制:新增语言的说话者相似度大多未进入前三名;音调控制准确率在所有功能中最低;Tiny 版的播客音频质量仍低于早期 Ming-Omni-TTS 版本;当文本本身不包含情绪线索时,情绪识别准确率会下降。

路线图列出了两项后续计划:使用 vLLM-Omni 加速推理,以及发布技术报告。伦理要求包括:用户不得未经许可复制真人语音;对于可能被误认为真实录音的合成语音,必须进行标注。

常见问题

Ming-3.0-TTS 两款模型的主要差异是什么,代码和权重在哪里获取?

Ming-3.0-TTS-0.5B 采用稠密架构,约含 5 亿个参数;Ming-3.0-TTS-Tiny 是基于 Ling V3 架构的混合专家模型,总参数量为 79 亿,每个 token 激活的参数量为 13 亿,并额外支持多说话者播客功能。代码、任务手册与评估表已上传至 GitHub,模型权重发布于 Hugging Face 和 ModelScope,均采用 MIT 许可证。

Ming-3.0-TTS 支持哪些语言,14 个副语言标签有什么作用?

该模型支持中文、英语、德语、西班牙语、法语、韩语、日语、四川话和粤语;14 个内置副语言标签可插入中文或英文笑声、叹息声及其他语音效果。各项功能以独立任务模式运行,不支持任意组合。

Ming-3.0-TTS 在开源模型中取得了哪些基准排名?

截至 2026 年 10 月,Ming-3.0-TTS 在 AI 分析控制语音排行榜中位列开源模型第一,发音鲁棒性排名第一(93.2% 的标记片段发音正确),NVBench 六项单标签副语言指标均达到开源最佳;团队提醒,排名可能随着新模型加入而发生变化。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论