百度于 11 月 5 日发布参数量达 2800 亿的 ERNIE 5.5 Flash Base

据 PANews 报道,百度于 11 月 5 日发布了 ERNIE 5.5 Flash Base,这是其最新的开源基础模型。该模型采用混合专家(MoE)架构,总参数量为 2800 亿,每个 token 激活 140 亿个参数。预训练使用了 335 万亿个 token,预训练期间的最大上下文长度为 12.8 万个 token,并支持在微调和推理期间处理多达 100 万个 token。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论