Amazon Polly 语音克隆现已作为受限开放版本正式推出,客户可在获得同意后,根据说话人的录音创建自定义语音。该功能首发支持七种语言:英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语,每个克隆语音只能说录制时使用的语言。目前仅部分 Amazon Polly 客户可以使用该功能,其他客户可联系其 AWS 账户团队或通过专用访问申请表提出申请。
语音克隆服务基于 Amazon Polly 生成式引擎运行,其自然度和准确性可媲美现有生成式语音。克隆语音会自动加密并进行访问控制,这意味着只有创建语音的 AWS 账户才能访问和使用该语音。Amazon Polly 客户可免费创建克隆语音,语音使用费用则按 Amazon Polly 定价页面所列标准按使用量计费。
语音克隆分为从录制到部署的四个步骤。用户需提供一位已同意录制的说话人的录音,并通过调用 CreateVoice API 提交 1–10 段录音,同时设置参数 TermsAccepted=True,以确认已获得说话人的同意。Amazon Polly 会立即返回语音 ID,并在后台异步构建语音。创建通常需要 5–10 分钟,期间 Amazon Polly 会检查文本转语音语音的质量和说话人相似度。用户需反复调用 GetVoice,直到状态从 pending 变为 active 或 failed。语音状态变为 active 后,可将语音 ID 传递给 SynthesizeSpeech 以实时合成音频,或传递给 StartSpeechSynthesisTask 以生成长篇音频并写入 Amazon S3;与 Amazon Polly 中的其他生成式语音一样,需使用 Engine="generative"。不再需要该语音时,用户可调用 DeleteVoice。
录音应为 1–10 个文件,总时长最长为 15 分钟。Amazon Polly 建议使用 16 位、采样率为 24 kHz 或 44.1/48 kHz 的单声道 WAV 格式,但也接受其他格式。控制台上传的单个文件大小不得超过 5 MB;较大的文件应使用 Amazon S3。最佳实践包括录制 2–10 分钟的自然语音,每段录音最长一分钟;在安静的房间内录制,并与麦克风保持稳定距离;避免使用会议应用和浏览器录音工具;按照预期的说话风格录制;并使用目标语言录制。
经过测试的语言区域包括美国英语(en-US)、德语(de-DE)、美国西班牙语(es-US)、法语(fr-FR)、意大利语(it-IT)、巴西葡萄牙语(pt-BR)和印地语(hi-IN)。这些语言的其他口音也可使用,但测试较少。
每次创建语音都必须确认已获得同意。用户需在控制台确认,或在 API 中设置 TermsAccepted=True,以确认已获得创建和使用克隆语音所需的所有权利和同意。使用该服务须遵守 AWS 服务条款、生物识别通知与同意条款、AWS 负责任 AI 政策和 AWS 可接受使用政策。
Amazon Polly 会为生成的语音添加水印。克隆语音仅限创建它的 AWS 账户使用,并通过 AWS 身份和访问管理(IAM)控制访问权限。用户可使用自己的 AWS 密钥管理服务(AWS KMS)密钥加密语音,并为其添加标签。语音变为 active 或创建失败后,用户可通过一次 DeleteVoice 调用或控制台自行决定何时删除语音。
Amazon Polly 创建语音后不会保留录音,也不会使用录音训练 Amazon Polly 模型。系统只保留合成所需的语音数据,并以加密形式存储。用户可使用自己的 AWS KMS 密钥进行加密,而 DeleteVoice 会立即删除所有数据。
Amazon Polly 语音克隆已在支持 Amazon Polly 生成式引擎的所有 AWS 区域推出:美国东部(弗吉尼亚北部)、美国西部(俄勒冈)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、亚太地区(悉尼)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(东京)、加拿大(中部)和 AWS GovCloud(美国西部)。克隆语音仅存在于创建它的 AWS 区域。访问权限按 AWS 账户启用;如果 Amazon Polly 控制台左侧面板中显示“语音克隆”,则表示已启用。否则,用户可联系其 AWS 账户团队或申请访问权限。
语音创建需要数分钟,因此应将其视为配置步骤,而不是用户请求流程的一部分。小型工作流(例如 AWS Step Functions 或作业队列)可以调用 CreateVoice,每 30 秒检查一次 GetVoice,直到语音状态变为 active,然后将语音 ID 存入配置中。CreateVoice 和 DeleteVoice 共用每秒 1 个请求的限额,因此批量创建和删除操作应加入队列。
每个 AWS 账户在每个区域的初始配额为 10 个克隆语音。如需提高配额,用户应联系其账户团队或 AWS Support。超过每秒 1 个请求的限制时,CreateVoice 会返回 ThrottlingException;账户达到该区域的克隆语音配额时,则会返回 ServiceQuotaExceededException。对于仍在创建中的语音,尝试进行合成或删除会返回 ConflictException。如果语音使用用户自己的 KMS 密钥,则无权访问该密钥的调用方会收到访问拒绝错误。
克隆语音遵循 Amazon Polly 生成式语音的配额,包括 Amazon Polly 配额文档中规定的每次请求和每个合成任务的文本长度限制。
录音应为 1–10 个文件,总音频时长最长为 15 分钟。Amazon Polly 建议使用 16 位、采样率为 24 kHz 或 44.1/48 kHz 的单声道 WAV 格式,但也接受其他格式。通过控制台上传的单个文件不得超过 5 MB;较大的文件应存储在 Amazon S3 中。每段录音最长应为一分钟,由一位说话人在安静的房间内录制,并与麦克风保持稳定距离;可使用 USB 麦克风或支持 WAV 录音的手机应用。最佳实践建议不要使用会议应用和浏览器录音工具,因为它们的回声消除和降噪功能会改变语音,克隆语音也会学习这些变化。录音应采用预期的语音风格,并使用语音将要说的语言。
语音创建是异步的,通常需要 5–10 分钟。使用说话人的录音并设置 TermsAccepted=True 调用 CreateVoice API 后,Amazon Polly 会立即返回语音 ID,并在后台构建语音。用户必须反复调用 GetVoice,直到状态从 pending 变为 active 或 failed。使用克隆语音进行合成的延迟与 Amazon Polly 中的生成式语音相同。在生产环境部署中,语音创建应视为配置步骤,而不是用户请求流程的一部分。
语音克隆已在 11 个 AWS 区域推出:美国东部(弗吉尼亚北部)、美国西部(俄勒冈)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、亚太地区(悉尼)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(东京)、加拿大(中部)和 AWS GovCloud(美国西部)。克隆语音仅存在于创建它的 AWS 区域。创建克隆语音免费;Amazon Polly 按照 Amazon Polly 定价页面的说明,按使用量收取克隆语音费用。每个 AWS 账户在每个区域的初始配额为 10 个克隆语音。CreateVoice 和 DeleteVoice 共用每秒 1 个请求的限额,因此批量操作应加入队列。如需提高配额,用户应联系 AWS Support 或其账户团队。