Moore Threads 完成 Kimi K3.1 Pro 在 MTT S5000 上的训练适配

NVDA-3.21%

关键要点

  • 摩尔线程使用 MUSA 软件栈,在 MTT S5000 上完成了参数规模约为 30 万亿的 Kimi K3.1 Pro 的训练适配。
  • 根据技术验证,摩尔线程的双机 16 卡 MTT S5000 配置连续完成了 400 次优化器更新,同时保持了损失和梯度范数稳定。
  • 摩尔线程建立了原生 FSDP2 多模态训练路径,涵盖模型加载、分片调度和梯度同步,适用于前沿大模型训练。

据《中国商报》11 月 18 日报道,摩尔线程(688795.SH)已在该公司的 MTT S5000 AI 训练推理一体计算卡上,搭配 MUSA 软件栈,完成了 Moonshot AI 旗舰模型 Kimi K3.1 Pro 的训练适配。该模型包含近 30 万亿个参数。

摩尔线程澄清,此次适配是针对先进开源大模型进行的训练优化,不同于传统的将最新开源模型适配到计算芯片上的 Day 0 适配。适配成功并不意味着该模型曾在这款芯片上进行预训练。公司构建了原生 FSDP2 多模态训练路径,并建立了涵盖模型加载、分片调度和梯度同步的完整训练流水线。

摩尔线程 MTT S5000 训练性能验证

在技术验证中,摩尔线程使用两台机器、共 16 张 MTT S5000 卡进行了跨节点联合训练测试。全部 16 个训练进程连续完成了 400 次优化器更新,未出现数值溢出或异常中断。在连续运行的 400 步中,损失值和梯度范数始终保持有限且稳定。

国产芯片与模型训练成果

摩尔线程已取得多项“国产芯片训练国产模型”的成果。公司从零初始化开始,完成了 0.236 万亿参数的 021 科学基础模型全周期训练。公司还为全球首个 5D 世界模型“北京大学 EvoPhys-World”提供了端到端原生训练支持,并与智谱联合完成了具身大脑模型 RoboBrain 2.5 的全流程训练。目前,摩尔线程正与合作伙伴推进万亿参数大模型训练。

摩尔线程训练能力发展路径

摩尔线程表示,将继续完善涵盖算子适配、多卡协同和自动化工具链开发的综合训练能力。公司旨在推动国产全功能 GPU 上的前沿大模型训练,从“能够训练”迈向“开箱即用”。

关键信息

  • 摩尔线程已在搭载 MUSA 软件栈的 MTT S5000 上完成 Kimi K3.1 Pro(约 30 万亿参数)的训练适配
  • 已构建原生 FSDP2 多模态训练路径
  • 双机 16 卡 MTT S5000 配置连续完成 400 次优化器更新,未出现数值溢出或中断
  • 在全部 400 个训练步骤中,损失值和梯度范数始终保持有限
  • 摩尔线程此前已完成 021 科学基础模型(2360 亿参数)的完整训练
  • 摩尔线程为北京大学 EvoPhys-World(全球首个 5D 世界模型)提供了训练支持
  • 摩尔线程与智谱联合完成了具身大脑模型 RoboBrain 2.5 的全流程训练
  • 摩尔线程目前正与合作伙伴推进万亿参数大模型训练

常见问题

摩尔线程对 Kimi K3.1 Pro 的训练适配有何意义?

摩尔线程在 MTT S5000 上完成 Kimi K3.1 Pro 训练适配,展现了公司执行近 30 万亿参数先进大模型全周期训练的能力。原生 FSDP2 多模态训练路径,以及涵盖模型加载、分片调度和梯度同步的完整训练流水线,体现了摩尔线程的工程成熟度,能够支持前沿复杂大模型的快速推理部署和稳定的全链路训练。

摩尔线程的训练验证与模型预训练有何不同?

摩尔线程澄清,训练适配是指在其硬件和软件栈上对先进开源模型进行优化,这不同于模型预训练——后者是在特定芯片上从初始化开始训练模型。适配成功表明模型能够在摩尔线程的平台上稳定训练,但并不意味着该模型是在这款硬件上预训练而成。这一区别类似于 DeepSeek 的 V4 技术报告将昇腾 NPU 和英伟达 GPU 验证列为推理算子验证,而非说明预训练所使用的硬件来源。

摩尔线程此前取得了哪些大模型训练成果?

摩尔线程已从零初始化开始,完成了 2360 亿参数的 021 科学基础模型完整训练。公司为被认定为全球首个 5D 世界模型的北京大学 EvoPhys-World 提供了端到端原生训练支持。摩尔线程还与智谱联合完成了具身大脑模型 RoboBrain 2.5 的全流程训练。目前,公司正与合作伙伴推进万亿参数大模型训练。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论