腾讯混元开放 Hy4 模型权重,支持 100 万 token 上下文

据 ChainCatcher 报道,腾讯混元团队于 11 月 20 日开源了 Hy4 的权重。Hy4 是一款采用混合专家(MoE)架构的原生多模态旗舰模型,总参数量为 7700 亿,每个 token 激活 490 亿个参数,并支持 100 万 token 的上下文窗口。团队还发布了 Hy4 的系统卡,其中包括安全评估报告。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论