摩尔线程完成 Kimi K3.1 Pro 模型的训练适配

MOONSHOT-1.55%
DEEPSEEK-2.21%
NVDA-3.21%

关键要点

  • Moore Threads 使用 MTT S5000 算力卡,完成了 Moonshot AI 的 Kimi K3.1 Pro 模型训练适配,该模型拥有近 3 万亿参数。
  • 据《中国经营报》报道,Moore Threads 构建了原生 FSDP2 多模态训练路径,打通了从模型加载到梯度同步的完整训练链路。
  • Moore Threads 开发了成熟的工程体系,支持先进大模型实现从快速推理部署到全链路稳定训练。

据《中国经营报》11月18日报道,摩尔线程 (688795.SH) 已使用其旗舰级 MTT S5000 AI 训练推理一体化计算卡,并搭配 MUSA 软件栈,完成对 Moonshot AI 旗舰模型 Kimi K3.1 Pro 的训练适配。该模型拥有近 3 万亿参数。

公司强调,这代表的是对先进开源大模型的训练适配,与最新开源模型在计算芯片上的 Day 0 适配有所不同。成功适配并集成并不意味着该模型曾在该芯片上进行预训练。作为背景,DeepSeek 的 DeepSeek V4 技术报告同时验证了昇腾 NPU 和英伟达 GPU 两条路径,并验证了一种细粒度专家并行(EP)方法。业内共识认为,V4 报告中同时列出昇腾和英伟达属于推理算子验证。DeepSeek 尚未正式公布其基础模型预训练所使用的原始计算基础设施。

摩尔线程构建原生 FSDP2 多模态训练架构

摩尔线程表示,其对 Kimi K3.1 Pro 的适配建立了原生 FSDP2 多模态训练路径,形成了从模型加载、分片调度到梯度同步的完整训练链路。公司已构建成熟的工程体系,能够支持领先的复杂大模型,覆盖从快速部署推理到稳定的全链路训练。

关键事实

  • 摩尔线程 MTT S5000 是一款旗舰级 AI 训练推理一体化计算卡,搭配 MUSA 软件栈
  • Kimi K3.1 Pro 拥有近 3 万亿参数,是 Moonshot AI 的旗舰模型
  • 已完成的训练适配包括原生 FSDP2 多模态训练路径
  • 完整训练链路涵盖模型加载、分片调度和梯度同步
  • DeepSeek V4 技术报告通过细粒度专家并行(EP)方法验证了昇腾 NPU 和英伟达 GPU 两条路径
  • DeepSeek V4 的验证被归类为推理算子验证

常见问题

摩尔线程 MTT S5000 芯片的训练适配意味着什么?

训练适配代表 Moonshot AI 的 Kimi K3.1 Pro 模型与摩尔线程 MTT S5000 计算卡及 MUSA 软件栈成功集成。这使该模型能够通过原生 FSDP2 多模态训练路径,在摩尔线程硬件上运行训练工作负载。不过,训练适配不同于预训练——这并不意味着 Kimi K3.1 Pro 最初是在摩尔线程芯片上训练的。

DeepSeek V4 对昇腾 NPU 和英伟达 GPU 的双重验证与模型预训练有什么关系?

DeepSeek 的 V4 技术报告同时验证了昇腾 NPU 和英伟达 GPU 两条路径,以验证一种细粒度专家并行(EP)方法。业内共识将这种并行验证解读为推理算子验证,而非预训练来源的证据。DeepSeek 尚未公开披露其基础模型预训练所使用的计算基础设施。

摩尔线程通过这次适配构建了哪些工程能力?

摩尔线程已建立成熟的工程体系,能够支持具有复杂需求的先进大模型。该体系提供全面支持,覆盖从快速部署推理到全链路稳定训练,包括整个训练流程中的模型加载、分片调度和梯度同步。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论