字节跳动开始预训练 10 万亿参数模型,规模接近 Anthropic 的 Mythos 5

据 Beating 监测,《金融时报》援引三位知情人士报道称,ByteDance 已开始预训练一款参数规模最高可达 10 万亿的大语言模型。该项目仍处于早期阶段,最终规模尚未确定。如果按完整规模完成训练,其参数量将超过 Kimi K3 的三倍,成为已知由中国团队开发的参数量最大的模型。

Anthropic 尚未披露 Mythos 5 的参数量,但《金融时报》援引业内估计称,Mythos 5 的参数量约为 8 万亿。若 ByteDance 的模型达到 10 万亿参数,其规模将与美国领先的闭源模型相当。目前,该模型处于预训练阶段,通常需要 3 至 6 个月,之后还需进行后训练,才有可能发布。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论