Oracle Cloud Infrastructure 的 Generative AI 文档列出了可导入和托管的兼容 Moonshot AI Kimi 模型。用户可以从 Hugging Face 存储桶和 OCI Object Storage 导入大型语言模型、创建端点,并在 Generative AI 中使用这些模型。该页面还概述了硬件要求、区域可用性注意事项,以及托管导入模型的专用 AI 集群的计费方式。
Kimi K2.6 和 K2.7 Code 面向软件工程任务
文档介绍,Kimi K2.6 和 Kimi K2.7 Code 针对复杂的软件工程任务、敏捷工作流和长期编码任务进行了优化。Kimi K2.6 专为编码、基于编码的设计、自主执行和任务编排而设计。Kimi K2.7 Code 是基于 Kimi K2.6 的编码专用模型,适用于长期软件工程工作流。
OCI 列出 Kimi 模型的硬件要求
支持的模型表列出了 Moonshotai/Kimi-K3,该模型具备文本和图像转文本能力,所需的最低专用 AI 集群单元为 B300_X8、B200_X16 或 H100_X32。Moonshotai/Kimi-K2.6 和 Moonshotai/Kimi-K2.7-Code 则列为具备文本转文本能力,所需的最低单元为 H200_X8 或 B200_X8。
列出的最低专用 AI 集群单元并不能确认某个特定区域是否提供该配置。文档建议在规划部署前检查目标区域的硬件可用性。不同区域的实施时间可能有所不同,包括主权云和政府区域。
OCI 介绍模型导入和集群计费
页面列出的支持基础模型可以在 OCI Generative AI 之外进行微调;如果生成的模型符合所述要求,包括 transformers_version 和 config.json,则可以将其导入。文档引导读者参阅微调模型导入指南,了解导出准备、数据类型检查以及验证错误方面的帮助。
托管导入模型的专用 AI 集群无需遵守适用于托管 OCI Generative AI 中可用预训练模型的专用 AI 集群的最低 744 小时单元承诺。导入模型集群的最低计费时长为一小时。使用一个 AI 单元并运行 30 分钟的集群将按一个 AI 单位小时计费。
第一小时之后,费用根据集群的实际运行时长计算,并精确到毫秒按比例计费。运行一小时零一分钟的集群按该时长计费,而不是按两个完整小时计费。集群运行期间,OCI 每五分钟向 Metering and Billing 发送使用记录。如果集群在达到一小时最低时长前被删除,OCI 将继续报告可计费使用量,直到达到最低时长。对于运行超过一小时的集群,OCI 将继续每五分钟发送使用记录,直到集群被删除。
OCI 列出 Kimi 模型名称、单元和计费条款
- Moonshotai/Kimi-K3 列为具备文本和图像转文本能力,最低单元为 B300_X8、B200_X16 和 H100_X32。
- Moonshotai/Kimi-K2.6 列为具备文本转文本能力,最低单元为 H200_X8 和 B200_X8。
- Moonshotai/Kimi-K2.7-Code 列为具备文本转文本能力,最低单元为 H200_X8 和 B200_X8。
- 导入模型的专用 AI 集群最低计费时长为一小时;最低 744 小时单元承诺适用于托管 OCI Generative AI 中可用预训练模型的集群。
- 第一小时之后,导入模型集群的费用根据实际运行时长计算,并精确到毫秒按比例计费。
- 集群运行期间,OCI 每五分钟发送一次使用记录。
常见问题
OCI Generative AI 列出了哪些兼容的 Kimi 模型?
该页面列出了 Moonshotai/Kimi-K3、Moonshotai/Kimi-K2.6 和 Moonshotai/Kimi-K2.7-Code 这几种兼容模型。
Kimi K3 列出了哪些专用 AI 集群单元?
Moonshotai/Kimi-K3 列出的最低专用 AI 集群单元为 B300_X8、B200_X16 和 H100_X32。
托管导入模型的专用集群如何计费?
导入模型集群的最低计费时长为一小时。第一小时之后,费用根据实际运行时长计算,并精确到毫秒按比例计费。集群运行期间,OCI 每五分钟发送一次使用记录。