Nemotron 3.5 Transcribe以3.3%的WDER登顶说话人分离指数

关键要点

  • Artificial Analysis 推出了说话人分离指数,按词级说话人分离错误率对语音转文本 API 进行排名,同时衡量说话人归属准确度和转录质量。
  • 英伟达的 Nemotron 3.5 Transcribe 以 3.3% 的 WDER 领先,在 97 段英语对话中表现显著优于 WDER 为 7.5% 的 Mistral Voxtral Small Transcribe 3。
  • 在包含 5 至 8 名说话人的群组中,Nemotron 3.5 Transcribe 的 WDER 保持在 6% 以下,而其他所有受测 API 的错误率均超过 10%。

Artificial Analysis 推出 Diarization Index,按词级说话人归属错误率(WDER)为语音转文本 API 评分;英伟达的 Nemotron 3.5 Transcribe 以 3.3% 领先,优于 Mistral 的 Voxtral Small Transcribe 3(7.5%)。该基准涵盖 97 段英语对话,共约 6.8 小时,每段有 2 至 8 位说话人。WDER 分数越低越好,该指数衡量说话人归属情况,并与标准的词语转录准确率分开评估;这对会议记录、通话分析和多方语音代理很重要。

Artificial Analysis 推出基于 WDER 的 Diarization Index

说话人分离会为转录的每个词分配一致的说话人标签,原文将其描述为转录流程的一项核心要求。词错误率(WER)涵盖错误、插入和遗漏的词语,但不评估说话人归属,因此 Artificial Analysis 改用词级说话人归属错误率(WDER)。说话人分离结果会标注 Speaker 1 和 Speaker 2 等标签,应用还必须另行将这些标签映射到真实身份。

Artificial Analysis 选择 WDER 而非传统的说话人分离错误率(DER),因为对于返回词级输出的 API,DER 可能会对时间戳边界异常敏感。每个对齐的参考词都会被归类为正确、归属到错误的说话人,或遗漏。WDER 的计算方法是将归属到错误说话人的词和遗漏的词数除以所有计分参考词数,因此转录遗漏会与说话人标签错误一并计入结果。

Nemotron 3.5 Transcribe 在竞争激烈的对话中扩大领先优势

评估集包含 97 段英语对话,每段约两到九分钟,结合了真实语音和合成语音,其中大部分为专有且未公开的数据;此外还包括来自 NOTSOFAR-1 会议的公开子集,这些会议使用一支共用麦克风录制。结果按三个说话人数区间报告:两位说话人、三至四位说话人,以及五至八位说话人。Artificial Analysis 对三个区间的分数等权平均,避免两人对话中的出色表现掩盖多人群组中的较差结果。

说话人数增加会令所有受测 API 的错误率上升。Nemotron 在双人音频上的 WDER 为 1.7%,在有五至八位参与者的对话中则升至 5.6%。据原文所述,其他所有 API 在最大人数区间的 WDER 都超过 10%。排行榜将 Nemotron 列为开放权重模型,而非提供标准化的每分钟价格;此外,基准测试结果来自 DeepInfra 端点,因此使用不同的推理技术栈和硬件时,性能可能有所不同。

MAI-Transcribe-2 的速度系数最高

微软的 MAI-Transcribe-2 速度系数为 313.9x,WDER 为 8.8%,标价为每 1,000 分钟 1.67 美元。Nemotron 3.5 Transcribe 的速度系数为 63.5x,采用开放权重,未列出价格;Voxtral Small Transcribe 3 的速度系数为 60.1x,价格为每 1,000 分钟 4.00 美元。原文指出,价格与 WDER 并非同步变化:在有定价的 API 中,Voxtral Small Transcribe 3 的 WDER 最低,为 7.5%;而几项价格更高的专有服务在说话人归属方面排名更低。

由于该指数涵盖非流式 API,速度系数衡量的是任务完成时间与音频时长的比值。原文指出,流式响应速度、首个 token 的生成时间、并发限制和速率限制都需要单独测试。

说话人归属错误会影响下游操作

语音代理通常会根据发言者来安排操作。原文列举了两个例子:如果医生的指示被归到患者名下,临床摘要就可能出错;如果客户的承诺被归到客服人员名下,合规记录或销售分析就可能失真。与原始转录准确率相比,WDER 能更直接地隔离这一类错误。

基准测试方法的限定条件影响结果解读

评分不计入“uh”等填充词,但会计入“mm-hmm”等附和语。速度系数和价格会计入单独的说话人分离费用,以及等待异步任务完成的时间。结果包含 95% 置信区间,因此解读排名接近的模型时,应同时参考这些区间。只有当模型对某个说话人数区间内的每段对话都返回有效且可评分的结果时,才会显示该区间的分数。数据集仅包含英语,且大部分数据未公开,这限制了独立复现的能力,也限制了对其他语言或领域的结论。

Diarization Index 基准数据摘要

  • Artificial Analysis 推出了 Diarization Index,按词级说话人归属错误率(WDER)对语音转文本 API 排名,分数越低越好。
  • 英伟达的 Nemotron 3.5 Transcribe 以 3.3% 的 WDER 领先,优于 Mistral 的 Voxtral Small Transcribe 3(7.5%)。
  • 该基准涵盖 97 段英语对话,共约 6.8 小时,每段有 2 至 8 位说话人。
  • Nemotron 在双人音频上的 WDER 为 1.7%,在有五至八位说话人的对话中则升至 5.6%。
  • Nemotron 在五至八人群组中的 WDER 保持在 6% 以下;原文称其他所有 API 在这一区间都超过 10%。
  • MAI-Transcribe-2 的速度系数为 313.9x,WDER 为 8.8%,标价为每 1,000 分钟 1.67 美元。
  • Nemotron 3.5 Transcribe 的速度系数为 63.5x,采用开放权重,未列出价格。
  • Voxtral Small Transcribe 3 的速度系数为 60.1x,价格为每 1,000 分钟 4.00 美元。
  • Artificial Analysis 采用 WDER 而非 DER 评分,以避免词级时间戳精度干扰结果。

常见问题

Artificial Analysis 的 Diarization Index 衡量什么?

Diarization Index 按词级说话人归属错误率(WDER)对语音转文本 API 排名。每个对齐的参考词都会被归类为正确、归属到错误的说话人,或遗漏;WDER 的计算方法是将归属到错误说话人的词和遗漏的词数除以所有计分参考词数。

随着说话人数增加,Nemotron 3.5 Transcribe 的表现如何?

Nemotron 3.5 Transcribe 在双人音频上的 WDER 为 1.7%,在有五至八位参与者的对话中则升至 5.6%。原文称,其他所有受测 API 在说话人数最多的区间中都超过 10%。

哪个 API 在该指数中的速度排名最高?

原文显示,微软的 MAI-Transcribe-2 速度系数最高,为 313.9x,WDER 为 8.8%,标价为每 1,000 分钟 1.67 美元。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论