AMD 于 2026 年 11 月 04 日表示,Kimi K3.1 Pro 可在 AMD Instinct MI355X GPU 上通过 ATOM 和 vLLM 获得首日支持。该开放权重、原生多模态的智能体模型总参数量为 2.8 万亿,激活参数量为 1040 亿,上下文长度为 100 万 token;部署使用其已发布的 MXFP4 检查点和 DSpark 推测解码草稿模型。
ATOM 使用张量并行,在八张 AMD Instinct MI355X GPU 上运行 Kimi K3.1 Pro,支持文本和图像输入,并直接使用已发布的 MXFP4 检查点,无需转换。该模型保留了 Kimi K3 的混合架构,并在其 24 个注意力层中各加入一个稀疏索引器。该索引器会为每个查询选取 2,048 个历史 token,用于稀疏注意力。
93 个解码器层包括 69 个 Kimi Delta Attention(KDA)层和 24 个门控潜在注意力(MLA)层。每个 MLA 层还配有一个索引器,包含 32 个头,每个头的维度为 128。该模型有 896 个路由专家,每个 token 激活 16 个,并配有两个共享专家;其路由专家使用 MXFP4 权重。独立的 DSpark 草稿模型有五个 MLA 层,可并行提出草稿 token。
ATOM 在预填充阶段使用 AITER 的分块 KDA 内核,在解码阶段使用融合的门控 delta 规则更新。其稀疏 MLA 实现使用 FP8 分页缓存,以 128-token 块存储潜在 KV 和索引键。路由专家通过 FlyDSL 原生 SiTUv2 分组 MoE 内核运行,使用 MXFP4 权重和 FP8 第二阶段;两个共享专家则在独立流上与路由专家并发运行。
启动时,ATOM 会将 BF16 注意力和稠密线性层重新量化为 FP8,每个输出通道使用一个缩放因子,并在运行时进行逐 token 激活缩放。该过程涵盖每个 rank 的 559 个线性层,耗时约 2 秒。路由专家、KDA 卷积、视觉编码器以及索引器打包的下投影层保留其存储格式。
对于 DSpark,ATOM 会将草稿模型的五层绑定到目标模型的 KV 池中,作为额外行使用,并采用相同的 576 宽潜在形状,继承 FP8 缓存数据类型。其草稿块通过 CUDA 图捕获。对于长上下文服务,解码上下文并行会将潜在 KV 缓存分片到全部八张 GPU 上,并通过全对全通信合并部分结果。在报告的单请求设置中,与标准解码路径相比,ATOM 的单内核解码路径将每个输出 token 的平均耗时降低了 33.6%。
vLLM 支持在 AMD Instinct MI355X GPU 上使用 MXFP4 检查点和 DSpark 推测解码运行 Kimi K3.1 Pro。其 ROCm 实现将节省内存的稀疏注意力与解码上下文并行相结合,用于长上下文服务,并提供专门的解码路径,支持低延迟交互式工作负载。
vLLM 实现使用 MXFP4 索引键:每个键占用 68 字节(含缩放因子),而 FP8 中每个键占用 132 字节,使索引缓存存储量减少 48.5%。评分使用原生 FP4 矩阵指令,累加和按头加权归约则使用 FP32。在 AgentX 扫描测试中,MXFP4 索引器配置的总工作负载吞吐量提高了 5.3%,并发数为 48。
在预填充阶段,GPU 会收集索引键,并在彼此之间划分查询行。每张 GPU 根据完整上下文对分配给自己的查询行进行评分,并直接选取全局 top-k。在报告的 TP8/DCP8 配置中,对于 8000 / 1000 个输入和输出 token,总吞吐量从 5,357.8 上升至 6,015.4 token/s(+12%);TTFT 中位数从 2.462 秒变为 1.875 秒,TPOT 中位数从 24.571 毫秒变为 22.063 毫秒。对于 12.8 万 / 100 个 token,总吞吐量从 6,950 上升至 17,678 token/s(+154%),TTFT 中位数从 268.7 秒变为 105.5 秒,TPOT 中位数从 331.5 毫秒变为 129.6 毫秒。该配置使用并发数 16、64 个提示,并禁用了前缀缓存。
在另一项使用八张 MI355X GPU、输入 12.8 万 token、输出 100 token 的对比中,FlyDSL 稀疏 MLA 的输出速度为 15.83 token/s,而 Triton 为 14.79 token/s,提升了 7.0%。FlyDSL 的 TTFT 中位数为 89.8 秒,Triton 为 96.2 秒;两者的基准测试时长分别为 404.4 秒和 432.8 秒。
在解码阶段,vLLM 分别运行 DSA 索引和稀疏注意力,随后使用持久化单内核,将注意力输出投影、AttnRes 和完整潜在 MoE(包括张量并行全归约)融合到一次启动中。在报告的 TP8/DCP1 配置中,专用解码路径的平均 TPOT 为 4.40 毫秒,而普通路径为 6.02 毫秒,提升了 27.0%。专用路径支持最多包含八行 token 的验证批次,包括一个带有七个草稿 token 的请求。
在解码过程中,每张 GPU 会交换候选分数,同时将 token ID 保留在本地。对于 2,048 个候选项,仅交换分数就能将每个 GPU 每个查询的候选数据量从 16 KiB 减半至 8 KiB。在使用八张 MI355X GPU 的独立微基准测试中,对于测试的查询和候选张量形状,与 RCCL 相比,AITER 专用 DCP 全收集内核将延迟降低了 53–61%。
ATOM 报告的单请求单内核解码测试使用一张 MI355X、TP8、8000 个输入 token / 1000 个输出 token、并发数 1、FP8 索引器、七个草稿 token,以及合成的 3.84 接受长度。标准解码的平均 TPOT 为 5.78 毫秒,单内核解码为 3.84 毫秒,提升了 33.6%。其解码上下文并行吞吐量测试使用 MI355X、TP8/DCP8、并发数 16、64 个提示、禁用前缀缓存、五个草稿 token、标准接受策略和 BF16 草稿模型;8000 / 1000 配置的总吞吐量为 7,484 token/s,12.8 万 / 100 配置为 14,005 token/s。
ATOM 准确率评估使用八张 MI355X GPU,除非另有说明,推理强度均设为 max。测试结果包括:MMMU-Pro 为 0.842(±0.009),OCRBench 为 0.871(±0.011),BEAM(100 万)为 0.416,GSM8K 5-shot 的宽松 / 严格得分为 0.978 / 0.977(±0.004),工具调用 JSON 模式检查为 0.997(427 / 428)。BEAM 由 GPT-4.1 评估,而非 Moonshot AI 参考结果所用的评判模型,因此两项得分不在同一尺度上。
vLLM 在 MI355X GPU 上使用标准拒绝采样策略和 DSpark,对比了 FP8 与 MXFP4 索引器,配置为 TP8/DCP8。在 GSM8K 5-shot、T = 0.7 测试中,FP8 索引器得分为 1295/1319(98.18%),MXFP4 索引器得分为 1291/1319(97.88%)。在 8000–50 万上下文长度范围的 Passkey 测试中,两者均得分 25/25。LongBench-v2 短文本、贪心模式下,FP8 得分为 125/180(69.44%),MXFP4 得分为 124/180(68.89%)。OCRBench 得分分别为 0.871 ± 0.0106 和 0.870 ± 0.0106;两者的工具调用 JSON 模式得分均为 407/408(99.75%)。
文章介绍了通过 ATOM 和 vLLM 在 AMD Instinct MI355X GPU 上提供的首日支持。ATOM 服务配置使用八张 MI355X GPU。
Kimi K3.1 Pro 总参数量为 2.8 万亿,激活参数量为 1040 亿,上下文窗口为 100 万 token。其 93 个解码器层包括 69 个 KDA 层和 24 个门控 DSA 层,路由专家使用 MXFP4。
在报告的 12.8 万输入 token 工作负载中,vLLM 的 DCP 预填充总吞吐量从 6,950 上升至 17,678 token/s(+154%)。在另一项解码测试中,专用路径的平均 TPOT 为 4.40 毫秒,而普通路径为 6.02 毫秒,提升了 27.0%。
相关快讯