Cursor 开源 Mixture-of-Kittens,将 MoE 模型训练提速 41%

据 OneMillion AI 称,Cursor 已开源 Mixture-of-Kittens(MoK),这是一种旨在加速 Mixture-of-Experts(MoE)大模型训练的技术。MoK 将 GPU 数据传输与计算合并到单个内核中,实现数据移动与计算并行,从而减少空闲时间。

MoE 模型将参数分配到专门的专家子网络中,需要在 GPU 之间频繁传输数据。MoK 通过重叠通信与计算解决了这一瓶颈。在使用 512 个 Blackwell GB300 GPU 的实际测试中,整体训练吞吐量提升了 41%;而独立的 MoE 层基准测试显示,与现有方法相比,最高提速达 2.37 倍。MoK 目前已部署在 Cursor 的数万张 GPU 上,用于 Composer 模型训练,并以 Apache 2.0 许可证发布。目前,该技术支持英伟达 Blackwell 架构,适用于采用 GB200/GB300 NVL72 配置的集群。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论