腾讯混元团队于 11 月 20 日宣布正式开源 Hy4 大语言模型,模型权重现已同步发布在 GitHub、Hugging Face、ModelScope 和 GitCode,供开发者下载和部署。这标志着混元大语言模型系列全面完成开源,现已涵盖 Hy3 preview、Hy3、Hy4 preview、Hy4 和 Hy4 flash 版本。此次于 11 月 20 日公布的 Hy4 模型权重,在该模型于 11 月 4 日正式发布之后推出。
Hy4 架构与技术规格
Hy4 采用混合专家(MoE)架构,总参数量为 7700 亿,激活参数量为 490 亿。模型支持最长 100 万 token 的上下文窗口。Hy4 基于 Apache 2.0 许可证发布,允许商业使用和修改。腾讯混元还同步发布了 Hy4 模型安全评估卡(System Card),披露了网络安全和生物安全维度的评估结果。
Hy4 Flash:性能与成本优化
除 Hy4 旗舰模型外,腾讯还发布了 Hy4 flash,将其定位为高性价比版本。Hy4 flash 总参数量约为 2200 亿,其中包括约 635 亿 Engram 参数,每个 token 激活的参数约为 120 亿。该模型支持最长 100 万 token 的上下文窗口,并接受文本和图像输入。两款模型组成了分层产品线,覆盖从旗舰级能力到低成本可扩展部署的需求。
安全评估
根据官方文档,Hy4 训练数据仅纳入概念验证生成和漏洞修复等防御性网络安全内容,不包含漏洞利用、逆向工程和渗透测试等攻击导向数据。腾讯玄武实验室和 Keen Security Lab 开展的审计未发现明显的攻击能力风险。
关键信息
- Hy4 模型权重于 11 月 20 日发布在 GitHub、Hugging Face、ModelScope 和 GitCode
- Hy4 总参数量为 7700 亿,激活参数量为 490 亿
- Hy4 上下文窗口最长支持 100 万 token
- Hy4 flash 总参数量约为 2200 亿,其中包括约 635 亿 Engram 参数
- Hy4 flash 每个 token 激活约 120 亿参数
- Hy4 flash 支持最长 100 万 token 的上下文窗口,并支持文本和图像输入
- Hy4 和 Hy4 preview 基于 Apache 2.0 许可证发布,允许商业使用和修改
- Hy4 训练数据不包含漏洞利用、逆向工程和渗透测试等攻击导向内容
- 玄武实验室和 Keen Security Lab 的审计未发现明显的攻击能力风险
- 混元大语言模型系列现已全面开源,涵盖 Hy3 preview、Hy3、Hy4 preview、Hy4 和 Hy4 flash
常见问题
Hy4 的主要规格是什么?
Hy4 采用混合专家架构,总参数量为 7700 亿,激活参数量为 490 亿。模型支持最长 100 万 token 的上下文窗口,并基于 Apache 2.0 许可证发布,允许商业使用和修改。
Hy4 和 Hy4 flash 有什么区别?
Hy4 flash 是一款高性价比版本,总参数量约为 2200 亿,其中包括约 635 亿 Engram 参数,每个 token 激活约 120 亿参数。Hy4 flash 与旗舰模型一样支持 100 万 token 的上下文窗口,并支持文本和图像输入,适用于可扩展部署场景。
开发者可以在哪里获取 Hy4 模型权重?
模型权重已同步发布在四个平台:GitHub、Hugging Face、ModelScope 和 GitCode,开发者可自行下载和部署。