据 OneMillion AI 称,Cursor 已开源 Mixture-of-Kittens(MoK),这是一种旨在加速 Mixture-of-Experts(MoE)大模型训练的技术。MoK 将 GPU 数据传输与计算合并到单个内核中,实现数据移动与计算并行,从而减少空闲时间。
MoE 模型将参数分配到专门的专家子网络中,需要在 GPU 之间频繁传输数据。MoK 通过重叠通信与计算解决了这一瓶颈。在使用 512 个 Blackwell GB300 GPU 的实际测试中,整体训练吞吐量提升了 41%;而独立的 MoE 层基准测试显示,与现有方法相比,最高提速达 2.37 倍。MoK 目前已部署在 Cursor 的数万张 GPU 上,用于 Composer 模型训练,并以 Apache 2.0 许可证发布。目前,该技术支持英伟达 Blackwell 架构,适用于采用 GB200/GB300 NVL72 配置的集群。