开发者开源轻量级 C 引擎,如今在 8GB 内存上即可运行拥有 27800亿亿参数的 Kimi K3。

据 BlockBeats 报道,开发者于今日(8 月 8 日)开源了 kimi-k3-in-c,使拥有 2.78 万亿参数的 Kimi K3 模型能够在 8GB 内存的设备上运行。该项目大小仅为 176KB,采用纯 C99 编写,不依赖 GPU、CUDA 或 PyTorch,完全通过 CPU 进行推理。

该方案利用了 Kimi K3 的混合专家(MoE)架构,每层仅激活 896 个专家中的 16 个。模型的大部分权重存储在 NVMe 存储设备中,并在推理过程中以流式方式传输,同时逐步加载稠密层。在 8GB 模式下,生成一个 token 约需 32.7 秒,并需要接近 1.7TB 的高速存储空间。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论