DeepSeek 发布参数量达 5520 亿的 V4.1-Flash AI 模型

关键要点

  • DeepSeek 于 2026 年 9 月 10 日发布了 DeepSeek-V4.1-Flash。这是一款拥有 5520 亿个参数的混合专家模型,支持 100 万个代币。
  • 为提高效率,该模型在处理每个输入代币时激活 80 亿个参数,在生成每个代币时激活 160 亿个参数。
  • DeepSeek 使用 45 万亿个多模态代币训练 V4.1-Flash,并正筹备在上海证券交易所科创板进行首次公开募股。

DeepSeek 于 2026 年 9 月 10 日发布了 DeepSeek-V4.1-Flash,推出了一款拥有 5520 亿个参数的混合专家模型,支持最长达 100 万个代币的上下文。 这家中国 AI 初创公司在设计该模型时优先考虑效率而非规模,每个输入代币仅激活 80 亿个参数,每个生成代币仅激活 160 亿个参数。据报道,DeepSeek 正在筹备于上海证券交易所科创板进行首次公开募股。

DeepSeek V4.1-Flash 采用因果编码器-解码器架构

DeepSeek-V4.1-Flash 采用因果编码器-解码器架构,将 40 个 Transformer 层划分为独立的 20 层编码阶段和解码阶段。该架构面向输入密集型智能体任务,在这些任务中,处理大型文档、代码库或对话历史占据了计算成本的主要部分。DeepSeek 的 SWA Bounded Replay 方法无需将选定的注意力状态持久化到固态存储区中,从而将持久化 KV 缓存占用量降至 DeepSeek-V4-Flash 的约八分之一。

压缩稀疏注意力 2 系统为各层分配静态注意力模式,并复用选定的注意力索引。结合 FP4 格式的键值缓存后,该系统将全局 KV 缓存需求降至每个代币 890 字节,约为此前 Flash 模型的四分之一。该模型采用条件记忆和推测解码,同时在每个 MoE 层中使用一个共享专家和 384 个路由专家。

模型在 MMLU-Pro 上取得 74.1 分,Codeforces 评分达 3,471 分

基础版本在 MMLU-Pro、HumanEval 和 GSM8K 上分别取得 74.1、79.4 和 93.0 分,而 DeepSeek-V4-Pro-Base 的得分分别为 73.5、76.8 和 92.6。在最高推理强度下,V4.1-Flash 在 Terminal-Bench 2.1 上取得 90.6 分,在 DeepSWE v1.1 上取得 74.2 分,在这些智能体基准测试中领先于 Opus 和 GPT 系列中的头部模型。该模型的 Codeforces 评分为 3,471 分,并在 MathArena Apex 上取得排行榜最佳成绩。

在 GPQA Diamond、Humanity's Last Exam 和 SimpleQA 上,V4.1-Flash 仍落后于参数规模最大的对比模型。尽管相比早期 DeepSeek 模型有所提升,但其在 Terminal-Bench 3.0 和 4.0 上的得分仍低于 Opus-5.0。多模态表现包括 MMMU-Pro 上的 56.5 分、CVBench 上的 77.9 分和 DocVQA 上的 95.6 分。启用智能体工具后,该模型在 Chartography 上取得 78.9 分,在 BabyVision 上取得 89.6 分。

DeepSeek 使用 45 万亿个多模态代币训练 V4.1-Flash

DeepSeek 从头开始使用 45 万亿个多模态代币训练 V4.1-Flash,其中包括从预训练开始就与文本一同原生处理的图像。稀疏注意力训练从 64,000 个代币开始,在达到 34 万亿个代币阶段后,逐步将上下文长度扩展至 100 万个代币。训练后阶段结合了监督微调、强化学习和在策略蒸馏,推理强度可在 1 到 100 的范围内配置。

常见问题

DeepSeek 于 2026 年 9 月 10 日发布了什么?
DeepSeek 发布了 DeepSeek-V4.1-Flash,这是一款拥有 5520 亿个参数的混合专家模型,支持最长达 100 万个代币的上下文。该模型每个输入代币仅激活 80 亿个参数,每个生成代币仅激活 160 亿个参数。

DeepSeek V4.1-Flash 在编码基准测试中的表现如何?
基础版本在 HumanEval 上取得 79.4 分,并获得 3,471 分的 Codeforces 评分。在最高推理强度下,V4.1-Flash 在 DeepSWE v1.1 上取得 74.2 分,在该智能体基准测试中领先于 Opus 和 GPT 系列中的头部模型。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论