Cartesia Sonic 3.6 通过 AWS Marketplace 在 SageMaker 上部署

关键要点

  • Cartesia Sonic 3.6 通过 AWS Marketplace 以模型包的形式部署在亚马逊 SageMaker 上,并在客户 VPC 内实现推理数据隔离。
  • 据消息来源称,Cartesia Sonic 可在 44 种以上语言中约 90 毫秒内生成首个音频字节,并支持使用 10 秒样本进行自定义语音克隆。
  • Cartesia 支持在亚马逊 EC2 GPU 实例(G6 L4、G6e L40S、G5 A10G)上自行管理部署,并将 Sonic 和 Ink 模型与亚马逊 Connect 集成,用于联络中心工作流。

Cartesia Sonic 3.6 可作为 AWS Marketplace 模型包,用于部署到虚拟私有云 (VPC) 内的 Amazon SageMaker AI 端点。该部署方式让团队可以选择在自己的 AWS 账户中运行 Sonic,以满足数据主权、延迟控制或合规要求。Cartesia 还支持在亚马逊 EC2 GPU 实例上进行自主管理部署,其 Sonic 和 Ink 模型也已集成到 Amazon Connect 中。

Cartesia 使用状态空间模型实现流式语音

Cartesia 使用专为实时语音 AI 设计的状态空间模型 (SSM)。与基于 Transformer 的模型不同,后者使用注意力机制比较序列元素,并且计算量会随着序列变长而呈二次增长;SSM 会逐步处理序列,同时向前传递紧凑的内部状态。文中指出,这种方法可以降低某些长序列的计算成本,适合处理作为流式数据的实时语音。

文中指出了 SSM 在音频处理方面的三项优势:结构化 SSM 能够保留长音频序列中的信息;SSM 维护固定大小的隐藏状态,而不是缓存所有先前的词元;其循环结构则能逐个词元处理输入,从而原生支持流式处理。Cartesia 将这一架构应用于其文本转语音模型 Sonic 和语音转文本模型 Ink。

Cartesia Sonic 和 Ink 提供流式语音功能

Sonic 是 Cartesia 的流式文本转语音模型。它能在约 90ms 内输出首个音频字节,支持超过 44 种语言中的自然韵律、情感和表现力,还能根据 10 秒音频样本创建定制语音。其原生流式架构可在收到完整文本输入之前就开始生成音频,而其上下文感知合成能够在长篇内容中保持语气和风格。

Ink 是 Cartesia 的流式语音转文本模型。它无需单独的语音活动检测 (VAD) 或结束点检测模型,即可原生检测轮次;并利用语义理解区分句中停顿和对话边界。Ink 会在用户说话时输出部分转录文本,支持抗噪和多说话人对话,还能让下游大型语言模型 (LLM) 在说话者结束发言前就开始组织回复。

SageMaker AI 在 VPC 内托管 Sonic 3.6

Sonic 通过 AWS Marketplace 以 SageMaker AI 模型包的形式提供。订阅该模型包后,客户可以根据其特定区域的模型包 ARN 创建 SageMaker 模型,并将其部署到 VPC 内的实时端点。文中指出,推理数据不会离开客户的账户。Ink 可通过 Cartesia API 使用,而 Cartesia API 可通过 AWS Marketplace 中的 Cartesia Voice AI Platform 列表购买。

SageMaker 部署需要 Amazon SageMaker Notebook Instance 或 SageMaker Studio。AWS Identity and Access Management (IAM) 执行角色需要拥有 AmazonSageMakerFullAccess 权限;订阅还需要 aws-marketplace:Subscribe、aws-marketplace:Unsubscribe 和 aws-marketplace:ViewSubscriptions 权限,除非该账户已订阅此列表。

该模型包列出的支持实例类型为 ml.g6e.xlarge 或更高规格、ml.g7e.2xlarge 或更高规格、ml.g7.2xlarge 或更高规格、ml.p5.48xlarge 和 ml.p5en.48xlarge。部署说明指导用户在 SageMaker AI 的 AWS Marketplace 资源中找到 Sonic 3.6 SageMaker,查看并接受购买选项,使用 Marketplace 订阅创建模型,然后在支持的 GPU 实例(例如 ml.g6e.2xlarge)上创建实时端点。调用端点前,必须等其状态达到InService。

模型包 ARN 因区域而异。文中给出了美国东部(北弗吉尼亚)区域的 ARN 示例:arn:aws:sagemaker:us-east-1:865070037744:model-package/sonic36-sagemaker-v0-c6e9cacffcdf31178d1bd7c98c587480。端点达到 InService 后,应用可以通过 SageMaker Runtime InvokeEndpointWithResponseStream API 调用端点,并处理返回的音频流。

EC2 GPU 实例支持自主管理 Sonic 部署

拥有现有 GPU 基础设施、严格网络要求或需要将 Cartesia 与其他服务部署在一起的团队,可以在亚马逊 EC2 GPU 实例上运行模型容器。此选项使用从 Cartesia 获取的容器映像,而非 AWS Marketplace 模型包,并让团队能够掌控运行时、扩展和网络路径。

文中指出,NVIDIA G6 (L4) 和 G6e (L40S) 实例在实时文本转语音 (TTS) 方面实现了最佳平衡,并称较早一代的 G5 (A10G) 也能胜任。建议根据目标并发量匹配 GPU 内存和 vCPU,并为每个模型副本使用单 GPU 实例,以简化扩展。容器映像可以复制到私有 Amazon 弹性容器注册表 (Amazon ECR) 存储库,以便使用由 IAM 限定范围的凭证拉取映像。

计算层可以使用 Amazon 弹性容器服务 (Amazon ECS) 或 Amazon 弹性 Kubernetes 服务 (Amazon EKS)。ECS 方案会注册 GPU 任务定义,设置 GPU 资源要求(例如将 resourceRequirements 的 type 设为 GPU),并将任务作为服务运行在应用程序负载均衡器之后。EKS 方案则使用 GPU 节点组或 Karpenter 配置器,搭配 EKS GPU 优化 AMI,安装 NVIDIA 设备插件,并将容器部署为由 Service 或 Ingress 接入的 Deployment。

为降低网络延迟,文中建议将推理节点放在集群置放群组中,让副本位于同一个可用区,并使用 VPC 端点拉取 ECR 和 S3 内容。混合云或本地调用方可以通过 AWS Direct Connect 或私有网络负载均衡器连接。模型权重可以存储在 Amazon 弹性文件系统 (Amazon EFS) 或 Amazon FSx for Lustre 中,并挂载到各个副本,以避免每个 pod 或任务重复下载数 GB 的制品。容器可以在启动时预热模型,并提供运行状况检查,确保流量只路由到已就绪的副本。

批量大小和并发流上限应与流量特征相匹配:较大的批量可以提高 GPU 利用率,但会增加首字节延迟,因此文中建议根据低于 100ms 的目标进行调优,并对每个 GPU 可处理的流数量进行基准测试。建议根据活跃音频流数量或 GPU 利用率而非 CPU 使用率进行扩缩容。ECS 可以通过自定义 Amazon CloudWatch 指标使用 AWS Application Auto Scaling;EKS 则可以使用由 GPU 指标或流数量指标驱动的 HPA 或 KEDA,并通过 Karpenter 或 Cluster Autoscaler 在副本增加时添加 GPU 节点。

文中还建议将首字节延迟、流数量和 GPU 指标发送到 CloudWatch;在不同节点上至少运行两个副本以确保可用性;并配置滚动更新或排空策略,避免中断正在进行的音频流。对于将 Cartesia 集成到现有机器学习 (ML) 系统、满足托管服务无法提供的网络或合规要求,或利用预留或 Spot GPU 容量优化成本的团队,自主管理是一个可选方案。其代价是团队需要自行负责资源配置、扩缩容、修补和监控,而这些工作在 SageMaker 中原本由服务处理。

Amazon Connect 使用 Cartesia 语音模型

Cartesia 的语音模型原生集成到 Amazon Connect 中。Amazon Connect 是一项基于云的联系中心服务,支持呼入和呼出语音通话、聊天及消息传递。文中指出,Amazon Connect 每天为金融服务和医疗保健等行业的数百万次客户互动提供支持。

在 Amazon Connect 中,Ink 为坐席辅助工作流提供实时转录和智能轮次检测。文中称,Cartesia 的模型支持响应迅速的语音互动、超过 44 种语言的多语言服务,并能在流量激增时保持语音质量和延迟不受影响。文中将 Amazon Connect 的全渠道编排与 Cartesia 的语音 AI 相结合,描述为自动处理复杂客户互动的一种方式。

Cartesia Sonic 3.6 和 AWS 部署详情

  • Cartesia 通过 AWS Marketplace 为 Amazon SageMaker AI 提供 Sonic 3.6 模型包。
  • SageMaker AI 端点可以在客户的 VPC 内运行,推理数据不会离开账户。
  • Sonic 可在约 90ms 内输出首个音频字节,并支持超过 44 种语言。
  • Cartesia 的 Sonic 和 Ink 模型针对低于 100ms 的首字节延迟进行了优化。
  • Sonic 语音克隆可以使用 10 秒音频样本。
  • 列出的支持实例类型为 ml.g6e.xlarge 或更高规格、ml.g7e.2xlarge 或更高规格、ml.g7.2xlarge 或更高规格、ml.p5.48xlarge 和 ml.p5en.48xlarge。
  • 部署示例会在 SageMaker 端点达到 InService 后使用 InvokeEndpointWithResponseStream API。
  • Ink 可通过 Cartesia API 使用,也可通过 AWS Marketplace 中的 Cartesia Voice AI Platform 列表购买。
  • 文中列出的自主管理 Sonic 部署 GPU 实例系列包括 NVIDIA G6 (L4)、G6e (L40S) 和 G5 (A10G)。

常见问题

团队如何在 AWS 上部署 Cartesia Sonic 3.6?

团队可以通过 AWS Marketplace 订阅 Sonic 3.6 SageMaker 模型包,根据订阅创建 SageMaker 模型,并将其部署到 VPC 内的实时端点。端点必须达到 InService 后,才能通过 SageMaker Runtime InvokeEndpointWithResponseStream API 调用。

Cartesia Sonic 提供怎样的延迟和语言支持?

Sonic 可在约 90ms 内输出首个音频字节,并支持超过 44 种语言中的自然韵律、情感和表现力。其原生流式架构可以在收到完整文本输入之前就开始生成音频。

团队如何在不使用托管 SageMaker 部署的情况下运行 Sonic?

团队可以在亚马逊 EC2 GPU 实例上运行 Cartesia 的容器映像。文中列出的实时 TTS 最佳平衡实例为 G6 (L4) 和 G6e (L40S),并称 G5 (A10G) 也能胜任。采用此方案时,团队需要自行管理资源配置、扩缩容、修补和监控。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论