智源 FlagOS 优化华为昇腾 910C 集群上的 GLM-5.3 推理

关键要点

  • 智源研究院通过 LI 量化融合,将内核延迟从 18.03 微秒降至 2.04 微秒,使 Huawei Ascend 910C 的解码阶段延迟缩短至原来的约 1/9。
  • FlagOS 生态整合了 21 家芯片企业和 86 家合作伙伴,覆盖 35 款 AI 芯片,累计收录 1,454 个开源 Triton 算子,其中 800 个算子在国产芯片上的性能达到原生性能的 80%。
  • 智源通过 Prefill-Decode 分离架构和跨域缓存优化,使老款 Ascend 910B 服务器支持 GLM-5.3-Flash 的 100 万上下文,并将首 token 延迟降低 81.4%。

Zhiyuan Institute 发布了面向国产 Token 工厂的端到端推理优化方案,针对华为 Ascend 910C 集群上的 Zhipu GLM-5.3 和 GLM-5.3-Flash 模型进行了深度优化。这项计划旨在解决中国 AI 基础设施中的一个关键缺口:将闲置、异构且难以使用的国产算力,转化为可量化、高可靠性的标准化生产能力。

FlagOS 是 Zhiyuan 与高校及芯片厂商合作开发、历时四年的开源系统软件栈,目前已整合 21 家芯片企业和 86 家生态合作伙伴,覆盖 35 款 AI 芯片。FlagOS 生态由四个核心层组成:通用算子库 FlagGems、训练推理并行框架 FlagScale、统一编译器 FlagTree,以及统一通信库 FlagCX。该项目在九个算子库中累计收录了超过 1,454 个开源 Triton 算子,其中近 800 个算子在至少 5 款国产芯片上的性能达到原生算子性能的 80% 以上。

面向 Ascend 910C 上 GLM-5.3 的微秒级内核优化

对于追求盈利的商业 Token 工厂而言,模型的“功能性”只是基础要求;降低延迟、提升吞吐量,对服务质量和利润率至关重要。在此次联合发布的方案中,Zhiyuan 团队针对华为 Ascend 910C 集群上的 GLM-5.3 和 GLM-5.3-Flash 模型,将优化深入到微秒级内核层面。

大型语言模型推理在两个阶段面临不同的瓶颈:计算密集型的 Prefill 阶段和内存访问密集型的 Decode 阶段。在 Prefill 阶段,针对 GLM-5.3-Flash 的混合注意力架构,团队重构了大、小计算路径,协调芯片的向量计算单元和矩阵计算单元并行工作,同时避免中间结果频繁进行片外传输。在输入长度为 81,920、并发请求数为 16 的测试中,批量吞吐量提升了 3.41%;在 25.6 万超长输入下,TTFT p50 降低了 4.94%。

在 Decode 阶段,内存访问带宽是最主要的限制因素,团队对分散的算子进行了深度融合。通过 LI 量化回写技术,团队将原本分步执行的动态量化、尺度转换和 HBM 缓存回写合并为一个内核。在 910C 微基准测试中,这项改动将原生链路延迟从 18.03 微秒压缩至 2.04 微秒,提速近 9 倍。结合针对小批量输入的向量路径定制后,端到端商业场景测试显示,Decode 阶段的 ITL 降低了 10% 以上,TPOT 降低了 8% 以上。

在老一代 Ascend 910B 硬件上实现 100 万上下文支持

除了提升新一代芯片的性能,中国的数据中心还面临一个更迫切的挑战:如何管理已部署的存量设备。大量 Ascend 910B 服务器已投入使用,但在支持具有百万 token(100 万)上下文窗口的新一代模型时,面临 GPU 显存和算力的双重限制。

Zhiyuan 团队在其内部 BAAI Token Hub 上搭建了 Prefill-Decode 分离推理集群,调度 48 张老一代 910B 卡,稳定运行支持 100 万上下文的 GLM-5.3-Flash 服务。该配置将 32 张卡划分为 4 个 Prefill 域,用于处理长序列输入;另外 16 张卡组成 8 个 Decode 域,专注于保障多并发流式输出。该服务已连续稳定运行两周,在线 TTFT P50 保持在约 2.3 秒,TPOT P50 稳定在 22 毫秒。

通过重构缓存和传输路径,系统效率显著提升。团队在框架插件层启用了跨 Prefill 域的 Prefix Cache 复用,将缓存划分为三个存储层级:本地 GPU 内存、专用主机内存和共享主机内存;同时结合分段 SDMA 优化,将分散的内存页合并为连续传输片段,提高 PCIe 带宽利用率。测试数据显示,该方案将前缀命中率从 82.65% 提升至 94.15%,并在缓存复用阶段将首 token 延迟中位数从 16.63 秒降至 3.10 秒,降幅达 81.4%。

多芯片横向验证与生态支持

Zhiyuan 强调,统一软件栈的价值不能仅凭单一芯片验证。峰会上公布的多芯片横向测试结果显示,FlagOS 2.2 在 Pinecone Technology 810E 上将 DeepSeek-V4.1-Flash 的推理性能提升了 77% 至 82%,实现 16 路并发可用,最高支持 80 路并发,单请求解码速度为 136.2 tok/s。在 Hygon BW1100 上,GLM-5.3-Flash 的推理性能提升超过 25%,单路多并发下的吞吐量超过 80 TPS。

从底层算子库和编译器到跨芯片调度插件,Zhiyuan 作为一级战略合作伙伴参与了此次联合发布,旨在将开源社区积累的优化能力直接带给一线 Token 工厂和企业用户。Zhiyuan 负责人表示,研究院和开源社区发挥着“保驾护航”的作用:无论用户运行的是已长期部署的老旧集群、新部署的新一代芯片,还是未来的新型硬件架构,都无需担心无法运行最新模型。随着算力竞争转向衡量“有效 token”,开放、可复用的系统软件基础正成为国产算力摆脱周期性限制的关键支点。

关键信息

  • Zhiyuan 的 FlagOS 生态整合了 21 家芯片企业和 86 家生态合作伙伴,覆盖 35 款 AI 芯片
  • 九个算子库累计收录了超过 1,454 个开源 Triton 算子
  • 近 800 个算子在至少 5 款国产芯片上的性能达到原生算子性能的 80% 以上
  • GLM-5.3-Flash Prefill 阶段在输入长度为 81,920、并发请求数为 16 的测试中,批量吞吐量提升了 3.41%
  • 在 25.6 万超长输入下,GLM-5.3-Flash Prefill 阶段的 TTFT p50 降低了 4.94%
  • Decode 阶段优化将原本 18.03 微秒的延迟压缩至 2.04 微秒,在微基准测试中提速 9 倍
  • 端到端商业场景测试显示,Decode 阶段的 ITL 降低了 10% 以上,TPOT 降低了 8% 以上
  • 48 张老一代 Ascend 910B 卡组成 Prefill-Decode 分离集群,稳定支持 GLM-5.3-Flash 的 100 万上下文;连续运行两周,TTFT P50 约为 2.3 秒,TPOT P50 为 22 毫秒
  • Prefix Cache 优化将命中率从 82.65% 提升至 94.15%
  • 缓存复用阶段的首 token 延迟中位数从 16.63 秒降至 3.10 秒,降幅达 81.4%
  • FlagOS 2.2 在 Pinecone Technology 810E 芯片上将 DeepSeek-V4.1-Flash 的推理性能提升了 77% 至 82%
  • DeepSeek-V4.1-Flash 在 Pinecone 810E 上实现 16 路并发可用,最高支持 80 路并发,单请求解码速度为 136.2 tok/s
  • GLM-5.3-Flash 在 Hygon BW1100 上的性能提升超过 25%,多并发吞吐量超过 80 TPS

常见问题

Zhiyuan 针对华为 Ascend 910C 上的 GLM-5.3-Flash 实现了哪些优化提升?

Zhiyuan 团队在 Prefill 和 Decode 两个阶段都实现了显著的性能提升。在 Prefill 阶段,输入长度为 81,920、并发请求数为 16 时,批量吞吐量提升了 3.41%;在 25.6 万超长输入下,TTFT p50 降低了 4.94%。在 Decode 阶段,团队通过内核级融合和 LI 量化回写技术,在微基准测试中将延迟从 18.03 微秒压缩至 2.04 微秒,性能提升 9 倍。在端到端商业场景测试中,Decode 阶段的 ITL 降低了 10% 以上,TPOT 降低了 8% 以上。

Zhiyuan 如何让老一代 Ascend 910B 服务器支持 GLM-5.3-Flash 的 100 万上下文?

Zhiyuan 搭建了 Prefill-Decode 分离推理集群架构,将 48 张老一代 910B 卡划分为 4 个 Prefill 域(32 张卡)和 8 个 Decode 域(16 张卡)。通过跨域 Prefix Cache 复用、三级缓存划分(本地 GPU 内存、专用主机内存和共享主机内存)以及分段 SDMA 优化,系统将前缀命中率从 82.65% 提升至 94.15%。这使缓存复用阶段的首 token 延迟中位数从 16.63 秒降至 3.10 秒,降幅达 81.4%。该服务连续运行两周,TTFT P50 保持在约 2.3 秒,TPOT P50 为 22 毫秒。

FlagOS 2.2 在不同国产芯片上取得了哪些成果?

FlagOS 2.2 在多个芯片平台上实现了显著的性能提升。在 Pinecone Technology 810E 上,DeepSeek-V4.1-Flash 的推理性能提升了 77% 至 82%,实现 16 路并发可用,最高支持 80 路并发,单请求解码速度为 136.2 tok/s。在 Hygon BW1100 上,GLM-5.3-Flash 的推理性能提升超过 25%,单路多并发吞吐量超过 80 TPS。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论