Kimi K3.1 Pro 将 2.8 万亿参数与 100 万 token 上下文相结合
Moonshot AI 将 Kimi K3.1 Pro 描述为一款开放权重、原生多模态的智能体模型。该模型基于 Kimi K3 进行后训练,采用大规模联合强化学习,覆盖数百个下游领域,并拥有 100 万 token 的上下文窗口。Moonshot AI 表示,该模型在编程、3D 创作、金融研究、事实准确性及其他智能体能力方面有所提升。 Kimi K3.1 Pro 采用 MoE 架构和稀疏注意力 Kimi K3.1 Pro 是 K3.1 系列的首款模型,也是 Moonshot AI 迄今能力最强的 3 万亿级模型。模型摘要列出了混合专家(MoE)架构、2.8 万亿总参数和 1040 亿激活参数。该模型有 93 层,其中包括 1 个稠密层,并采用 69 个 KDA 注意力层和 24 个 Gated DSA 注意力层。 与 Kimi K3 相比,该模型用 Gated DeepSeek Sparse Attention(Gated DSA)层取代了完整注意力 Gated MLA 层,以更高效地进行长上下文建模。其视觉编码器为 MoonViT-V2,拥有 4.01 亿参数。列出的模态为文本和图像
Gate 全球科技前线·11-07 05:08
