腾讯混元开源 7700 亿参数大语言模型 Hy4

关键要点

  • Tencent Hunyuan 于 11 月 20 日在 GitHub、Hugging Face、ModelScope 和 GitCode 上开源了参数量达 7700 亿的 Hy4 大语言模型。
  • Hy4 采用混合专家架构,激活参数量为 490 亿,并支持 100 万词元的上下文窗口。
  • Hy4 Flash 版本的总参数量为 2200 亿,支持文本和图像双模态输入,部署成本效益高。

腾讯混元团队于 11 月 20 日宣布正式开源 Hy4 大语言模型,模型权重现已同步发布在 GitHub、Hugging Face、ModelScope 和 GitCode,供开发者下载和部署。这标志着混元大语言模型系列全面完成开源,现已涵盖 Hy3 preview、Hy3、Hy4 preview、Hy4 和 Hy4 flash 版本。此次于 11 月 20 日公布的 Hy4 模型权重,在该模型于 11 月 4 日正式发布之后推出。

Hy4 架构与技术规格

Hy4 采用混合专家(MoE)架构,总参数量为 7700 亿,激活参数量为 490 亿。模型支持最长 100 万 token 的上下文窗口。Hy4 基于 Apache 2.0 许可证发布,允许商业使用和修改。腾讯混元还同步发布了 Hy4 模型安全评估卡(System Card),披露了网络安全和生物安全维度的评估结果。

Hy4 Flash:性能与成本优化

除 Hy4 旗舰模型外,腾讯还发布了 Hy4 flash,将其定位为高性价比版本。Hy4 flash 总参数量约为 2200 亿,其中包括约 635 亿 Engram 参数,每个 token 激活的参数约为 120 亿。该模型支持最长 100 万 token 的上下文窗口,并接受文本和图像输入。两款模型组成了分层产品线,覆盖从旗舰级能力到低成本可扩展部署的需求。

安全评估

根据官方文档,Hy4 训练数据仅纳入概念验证生成和漏洞修复等防御性网络安全内容,不包含漏洞利用、逆向工程和渗透测试等攻击导向数据。腾讯玄武实验室和 Keen Security Lab 开展的审计未发现明显的攻击能力风险。

关键信息

  • Hy4 模型权重于 11 月 20 日发布在 GitHub、Hugging Face、ModelScope 和 GitCode
  • Hy4 总参数量为 7700 亿,激活参数量为 490 亿
  • Hy4 上下文窗口最长支持 100 万 token
  • Hy4 flash 总参数量约为 2200 亿,其中包括约 635 亿 Engram 参数
  • Hy4 flash 每个 token 激活约 120 亿参数
  • Hy4 flash 支持最长 100 万 token 的上下文窗口,并支持文本和图像输入
  • Hy4 和 Hy4 preview 基于 Apache 2.0 许可证发布,允许商业使用和修改
  • Hy4 训练数据不包含漏洞利用、逆向工程和渗透测试等攻击导向内容
  • 玄武实验室和 Keen Security Lab 的审计未发现明显的攻击能力风险
  • 混元大语言模型系列现已全面开源,涵盖 Hy3 preview、Hy3、Hy4 preview、Hy4 和 Hy4 flash

常见问题

Hy4 的主要规格是什么?

Hy4 采用混合专家架构,总参数量为 7700 亿,激活参数量为 490 亿。模型支持最长 100 万 token 的上下文窗口,并基于 Apache 2.0 许可证发布,允许商业使用和修改。

Hy4 和 Hy4 flash 有什么区别?

Hy4 flash 是一款高性价比版本,总参数量约为 2200 亿,其中包括约 635 亿 Engram 参数,每个 token 激活约 120 亿参数。Hy4 flash 与旗舰模型一样支持 100 万 token 的上下文窗口,并支持文本和图像输入,适用于可扩展部署场景。

开发者可以在哪里获取 Hy4 模型权重?

模型权重已同步发布在四个平台:GitHub、Hugging Face、ModelScope 和 GitCode,开发者可自行下载和部署。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论