Amazon Bedrock 现已通过 in.moonshotai.kimi-k3 配置文件,支持在印度境内对 Moonshot AI 的 Kimi K3 进行推理。此选项面向对数据驻留有严格要求的本地工作负载。Kimi K3 是多模态开放权重基础模型,此次更新在全球和美国境内推理之外,新增了在印度境内处理的能力。
Kimi K3 可通过 Amazon Bedrock 跨区域推理配置文件使用。请求会提交到源 AWS 区域,并在符合条件的目标区域安全处理。AWS 表示,数据在区域之间传输时会加密,并始终留在 AWS 网络内,不会经过公共互联网,也不需要客户搭建多区域虚拟私有云基础设施。
配置文件 ID 决定符合条件的目标区域。全球配置文件 global.moonshotai.kimi-k3 推荐用于大多数场景,AWS 称其成本最低、可用范围最广。印度地理区域配置文件 in.moonshotai.kimi-k3 面向要求推理处理始终位于孟买和海得拉巴区域内的工作负载。
AWS 介绍了一个处理印度语系扫描文档的示例工作流:模型读取印地语文档、提取结构化数据,并以印地语和英语混合的语言(即 Hinglish)回答后续问题。文章将 KYC 表格和水电费账单列为印度金融服务和公共部门工作流中需要数字化处理的文档示例。在该示例中,Kimi K3 无需单独的 OCR 或翻译服务,即可读取并理解包含多语言文本的图像。
Amazon Bedrock 支持 Kimi K3 使用 Chat Completions、Responses、Converse 和 InvokeModel API。Chat Completions 接受兼容 OpenAI 格式的消息,并返回助手消息输出;Responses 使用兼容 OpenAI 格式的输入和结构化输出项;Converse 为受支持的模型提供标准化消息、内容块和推理参数;InvokeModel 则使用特定于模型的 JSON 请求和响应正文。AWS 在示例中使用兼容 OpenAI 的 API,并表示 Chat Completions 和 Responses 均支持流式传输、工具调用和结构化输出。
示例通过对图像进行 base64 编码,直接将图像发送给模型。对于 OCR 或其他注重细节的任务,AWS 建议考虑将图像细节参数设为 high;这样可以提升准确度,但每张图像会消耗更多输入 token。AWS 还表示,在某些情况下,将图像放在文本输入之前可获得更高的输出质量,并建议尝试调整请求内容的顺序。
示例管道会以文档原始文字记录内容,使用可配置的架构以 JSON 格式提取字段,撰写简短的英文摘要,并以 Hinglish 回答多轮后续问题。它会将日期规范化为 ISO 8601 格式(YYYY-MM-DD),将 २८८ 等天城文数字转换为 288 等西方数字,并将姓名转写为英文。
对于一张合成的印地语电费账单,简要输出包括消费者姓名 श्रीमती सुनीता देवी शर्मा 及其英文转写 Smt. Sunita Devi Sharma;消费者编号 410277893561;账单周期 2026-09-01 至 2026-09-30;到期日 2026-10-20;用电量 288 单位;应付金额 2217.20 INR;以及逾期后的金额 2261.54 INR。在基于同一文档生成的 Hinglish 回复示例中,模型给出的账单总额为 ₹2,217.20,最后缴费日期为 20/10/2026,逾期金额为 ₹2,261.54。
示例还包括一份 KYC 表格,以及一种无架构模式,在该模式下,模型会为其他类型的文档自行选择字段。AWS 表示,示例文档均为合成内容,使用虚构姓名和地址,并对身份号码进行了遮蔽。AWS 建议针对预期用途验证自动提取结果,并考虑在关键工作流中加入后置验证逻辑或人工审核。
Amazon Bedrock 服务层级提供按请求选择的性价比选项。对于对延迟不太敏感的场景,Flex 层级在默认标准定价基础上提供 50% 的折扣;对于对延迟敏感的场景,Priority 层级以更高价格请求更高的队列优先级。
Kimi K3 支持缓存命中折扣,以及隐式和显式提示词缓存。在隐式模式下,服务会尝试自动缓存并在请求之间复用重复的提示词前缀,无需用户操作。在显式模式下,客户可以指定可缓存内容的断点;AWS 表示,这有助于提高缓存命中率和响应速度,并节省成本。AWS 建议将系统提示词和工具描述等静态内容放在当前图像和问题等动态内容之前。
Amazon CloudWatch 会在 AWS/Bedrock 命名空间下自动生成 Kimi K3 指标,涵盖调用率、token 数量、缓存使用情况、延迟、错误和限流。模型调用日志记录为可选功能,也可以包含提示词和输出内容。无论处理请求的目标区域为何,日志和指标都会存储在提交请求的源区域。AWS CloudTrail 数据事件日志可在 additionalEventData.inferenceRegion 字段中记录目标区域。
Ultrahuman 通过 Amazon Bedrock 使用 Kimi K3,为其应用中的 AI 健康与保健助手 Jade 提供支持。据 Ultrahuman 工程副总裁 Aditya Patawari 介绍,Jade 每天会使用每个人的 Ring 和血糖数据,以通俗易懂的语言回答 14,000 多次对话中的问题。Patawari 表示,Kimi K3 让公司能够通过现有 API 接入开放权重模型,同时确保健康数据留在 AWS 内,并将孟买作为备用区域。他还表示,提示词缓存降低了 80% 的 LLM 成本,并使多轮聊天速度提升了 85%。
in.moonshotai.kimi-k3 印度地理区域推理配置文件会将处理限制在孟买和海得拉巴区域内。Amazon Bedrock 会使用推理配置文件来确定符合条件的目标区域。
Amazon Bedrock 支持 Kimi K3 使用 Chat Completions、Responses、Converse 和 InvokeModel。AWS 表示,Chat Completions 和 Responses API 均支持流式传输、工具调用和结构化输出。
Ultrahuman 表示,Jade 每天处理 14,000 多次对话,并使用每个人的 Ring 和血糖数据。其工程副总裁表示,提示词缓存降低了 80% 的 LLM 成本,并使多轮聊天速度提升了 85%。