据《中国经营报》11月18日报道,摩尔线程 (688795.SH) 已使用其旗舰级 MTT S5000 AI 训练推理一体化计算卡,并搭配 MUSA 软件栈,完成对 Moonshot AI 旗舰模型 Kimi K3.1 Pro 的训练适配。该模型拥有近 3 万亿参数。
公司强调,这代表的是对先进开源大模型的训练适配,与最新开源模型在计算芯片上的 Day 0 适配有所不同。成功适配并集成并不意味着该模型曾在该芯片上进行预训练。作为背景,DeepSeek 的 DeepSeek V4 技术报告同时验证了昇腾 NPU 和英伟达 GPU 两条路径,并验证了一种细粒度专家并行(EP)方法。业内共识认为,V4 报告中同时列出昇腾和英伟达属于推理算子验证。DeepSeek 尚未正式公布其基础模型预训练所使用的原始计算基础设施。
摩尔线程构建原生 FSDP2 多模态训练架构
摩尔线程表示,其对 Kimi K3.1 Pro 的适配建立了原生 FSDP2 多模态训练路径,形成了从模型加载、分片调度到梯度同步的完整训练链路。公司已构建成熟的工程体系,能够支持领先的复杂大模型,覆盖从快速部署推理到稳定的全链路训练。
关键事实
- 摩尔线程 MTT S5000 是一款旗舰级 AI 训练推理一体化计算卡,搭配 MUSA 软件栈
- Kimi K3.1 Pro 拥有近 3 万亿参数,是 Moonshot AI 的旗舰模型
- 已完成的训练适配包括原生 FSDP2 多模态训练路径
- 完整训练链路涵盖模型加载、分片调度和梯度同步
- DeepSeek V4 技术报告通过细粒度专家并行(EP)方法验证了昇腾 NPU 和英伟达 GPU 两条路径
- DeepSeek V4 的验证被归类为推理算子验证
常见问题
摩尔线程 MTT S5000 芯片的训练适配意味着什么?
训练适配代表 Moonshot AI 的 Kimi K3.1 Pro 模型与摩尔线程 MTT S5000 计算卡及 MUSA 软件栈成功集成。这使该模型能够通过原生 FSDP2 多模态训练路径,在摩尔线程硬件上运行训练工作负载。不过,训练适配不同于预训练——这并不意味着 Kimi K3.1 Pro 最初是在摩尔线程芯片上训练的。
DeepSeek V4 对昇腾 NPU 和英伟达 GPU 的双重验证与模型预训练有什么关系?
DeepSeek 的 V4 技术报告同时验证了昇腾 NPU 和英伟达 GPU 两条路径,以验证一种细粒度专家并行(EP)方法。业内共识将这种并行验证解读为推理算子验证,而非预训练来源的证据。DeepSeek 尚未公开披露其基础模型预训练所使用的计算基础设施。
摩尔线程通过这次适配构建了哪些工程能力?
摩尔线程已建立成熟的工程体系,能够支持具有复杂需求的先进大模型。该体系提供全面支持,覆盖从快速部署推理到全链路稳定训练,包括整个训练流程中的模型加载、分片调度和梯度同步。