亚马逊 Bedrock 在孟买和海得拉巴新增印度本地 Kimi K3 推理服务

关键要点

  • 亚马逊 Bedrock 为 in.moonshotai.kimi-k3 推出了印度地理推理配置文件,将 Kimi K3 的数据处理限制在孟买和海得拉巴区域,以满足数据驻留要求。
  • Ultrahuman 借助提示缓存将 LLM 成本降低了 80%,并使用 Kimi K3 使其 Jade 健康助理的多轮聊天响应速度提升了 85%。
  • Kimi K3 通过 Chat Completions、Responses、Converse 和 InvokeModel API 支持多语言文档数字化,包括印地语水电账单和 KYC 表格。

Amazon Bedrock 现已通过 in.moonshotai.kimi-k3 配置文件,支持在印度境内对 Moonshot AI 的 Kimi K3 进行推理。此选项面向对数据驻留有严格要求的本地工作负载。Kimi K3 是多模态开放权重基础模型,此次更新在全球和美国境内推理之外,新增了在印度境内处理的能力。

Amazon Bedrock 为 Kimi K3 增加印度区域推理

Kimi K3 可通过 Amazon Bedrock 跨区域推理配置文件使用。请求会提交到源 AWS 区域,并在符合条件的目标区域安全处理。AWS 表示,数据在区域之间传输时会加密,并始终留在 AWS 网络内,不会经过公共互联网,也不需要客户搭建多区域虚拟私有云基础设施。

配置文件 ID 决定符合条件的目标区域。全球配置文件 global.moonshotai.kimi-k3 推荐用于大多数场景,AWS 称其成本最低、可用范围最广。印度地理区域配置文件 in.moonshotai.kimi-k3 面向要求推理处理始终位于孟买和海得拉巴区域内的工作负载。

Kimi K3 支持多模态文档处理和 API

AWS 介绍了一个处理印度语系扫描文档的示例工作流:模型读取印地语文档、提取结构化数据,并以印地语和英语混合的语言(即 Hinglish)回答后续问题。文章将 KYC 表格和水电费账单列为印度金融服务和公共部门工作流中需要数字化处理的文档示例。在该示例中,Kimi K3 无需单独的 OCR 或翻译服务,即可读取并理解包含多语言文本的图像。

Amazon Bedrock 支持 Kimi K3 使用 Chat Completions、Responses、Converse 和 InvokeModel API。Chat Completions 接受兼容 OpenAI 格式的消息,并返回助手消息输出;Responses 使用兼容 OpenAI 格式的输入和结构化输出项;Converse 为受支持的模型提供标准化消息、内容块和推理参数;InvokeModel 则使用特定于模型的 JSON 请求和响应正文。AWS 在示例中使用兼容 OpenAI 的 API,并表示 Chat Completions 和 Responses 均支持流式传输、工具调用和结构化输出。

示例通过对图像进行 base64 编码,直接将图像发送给模型。对于 OCR 或其他注重细节的任务,AWS 建议考虑将图像细节参数设为 high;这样可以提升准确度,但每张图像会消耗更多输入 token。AWS 还表示,在某些情况下,将图像放在文本输入之前可获得更高的输出质量,并建议尝试调整请求内容的顺序。

Kimi K3 管道提取结构化字段并以 Hinglish 作答

示例管道会以文档原始文字记录内容,使用可配置的架构以 JSON 格式提取字段,撰写简短的英文摘要,并以 Hinglish 回答多轮后续问题。它会将日期规范化为 ISO 8601 格式(YYYY-MM-DD),将 २८८ 等天城文数字转换为 288 等西方数字,并将姓名转写为英文。

对于一张合成的印地语电费账单,简要输出包括消费者姓名 श्रीमती सुनीता देवी शर्मा 及其英文转写 Smt. Sunita Devi Sharma;消费者编号 410277893561;账单周期 2026-09-01 至 2026-09-30;到期日 2026-10-20;用电量 288 单位;应付金额 2217.20 INR;以及逾期后的金额 2261.54 INR。在基于同一文档生成的 Hinglish 回复示例中,模型给出的账单总额为 ₹2,217.20,最后缴费日期为 20/10/2026,逾期金额为 ₹2,261.54。

示例还包括一份 KYC 表格,以及一种无架构模式,在该模式下,模型会为其他类型的文档自行选择字段。AWS 表示,示例文档均为合成内容,使用虚构姓名和地址,并对身份号码进行了遮蔽。AWS 建议针对预期用途验证自动提取结果,并考虑在关键工作流中加入后置验证逻辑或人工审核。

Amazon Bedrock 提供提示词缓存、服务层级和监控

Amazon Bedrock 服务层级提供按请求选择的性价比选项。对于对延迟不太敏感的场景,Flex 层级在默认标准定价基础上提供 50% 的折扣;对于对延迟敏感的场景,Priority 层级以更高价格请求更高的队列优先级。

Kimi K3 支持缓存命中折扣,以及隐式和显式提示词缓存。在隐式模式下,服务会尝试自动缓存并在请求之间复用重复的提示词前缀,无需用户操作。在显式模式下,客户可以指定可缓存内容的断点;AWS 表示,这有助于提高缓存命中率和响应速度,并节省成本。AWS 建议将系统提示词和工具描述等静态内容放在当前图像和问题等动态内容之前。

Amazon CloudWatch 会在 AWS/Bedrock 命名空间下自动生成 Kimi K3 指标,涵盖调用率、token 数量、缓存使用情况、延迟、错误和限流。模型调用日志记录为可选功能,也可以包含提示词和输出内容。无论处理请求的目标区域为何,日志和指标都会存储在提交请求的源区域。AWS CloudTrail 数据事件日志可在 additionalEventData.inferenceRegion 字段中记录目标区域。

Ultrahuman 报告 Kimi K3 的生产环境表现

Ultrahuman 通过 Amazon Bedrock 使用 Kimi K3,为其应用中的 AI 健康与保健助手 Jade 提供支持。据 Ultrahuman 工程副总裁 Aditya Patawari 介绍,Jade 每天会使用每个人的 Ring 和血糖数据,以通俗易懂的语言回答 14,000 多次对话中的问题。Patawari 表示,Kimi K3 让公司能够通过现有 API 接入开放权重模型,同时确保健康数据留在 AWS 内,并将孟买作为备用区域。他还表示,提示词缓存降低了 80% 的 LLM 成本,并使多轮聊天速度提升了 85%。

Kimi K3 印度推理事实

  • 印度地理区域推理配置文件为 in.moonshotai.kimi-k3。
  • 印度地理区域推理处理仅限于孟买和海得拉巴区域。
  • 全球推理配置文件为 global.moonshotai.kimi-k3。
  • 跨区域推理会在区域之间传输数据时对其加密,并使数据始终留在 AWS 网络内,不经过公共互联网。
  • Amazon Bedrock 支持 Kimi K3 使用 Chat Completions、Responses、Converse 和 InvokeModel。
  • 示例管道会将日期规范化为 ISO 8601 格式(YYYY-MM-DD),将天城文数字转换为西方数字,并将姓名转写为英文。
  • Flex 服务层级在默认标准定价基础上提供 50% 的折扣;Priority 层级以更高价格请求更高的队列优先级。
  • Kimi K3 按 token 计费。
  • Ultrahuman 报告称,Jade 每天处理 14,000 多次对话;提示词缓存使 LLM 成本降低了 80%,并使多轮聊天速度提升了 85%。

常见问题

哪些 AWS 区域可以在印度处理 Kimi K3 推理?

in.moonshotai.kimi-k3 印度地理区域推理配置文件会将处理限制在孟买和海得拉巴区域内。Amazon Bedrock 会使用推理配置文件来确定符合条件的目标区域。

Amazon Bedrock 支持 Kimi K3 使用哪些 API?

Amazon Bedrock 支持 Kimi K3 使用 Chat Completions、Responses、Converse 和 InvokeModel。AWS 表示,Chat Completions 和 Responses API 均支持流式传输、工具调用和结构化输出。

Ultrahuman 报告了哪些 Kimi K3 使用情况?

Ultrahuman 表示,Jade 每天处理 14,000 多次对话,并使用每个人的 Ring 和血糖数据。其工程副总裁表示,提示词缓存降低了 80% 的 LLM 成本,并使多轮聊天速度提升了 85%。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论