Zhiyuan Institute 发布了面向国产 Token 工厂的端到端推理优化方案,针对华为 Ascend 910C 集群上的 Zhipu GLM-5.3 和 GLM-5.3-Flash 模型进行了深度优化。这项计划旨在解决中国 AI 基础设施中的一个关键缺口:将闲置、异构且难以使用的国产算力,转化为可量化、高可靠性的标准化生产能力。
FlagOS 是 Zhiyuan 与高校及芯片厂商合作开发、历时四年的开源系统软件栈,目前已整合 21 家芯片企业和 86 家生态合作伙伴,覆盖 35 款 AI 芯片。FlagOS 生态由四个核心层组成:通用算子库 FlagGems、训练推理并行框架 FlagScale、统一编译器 FlagTree,以及统一通信库 FlagCX。该项目在九个算子库中累计收录了超过 1,454 个开源 Triton 算子,其中近 800 个算子在至少 5 款国产芯片上的性能达到原生算子性能的 80% 以上。
对于追求盈利的商业 Token 工厂而言,模型的“功能性”只是基础要求;降低延迟、提升吞吐量,对服务质量和利润率至关重要。在此次联合发布的方案中,Zhiyuan 团队针对华为 Ascend 910C 集群上的 GLM-5.3 和 GLM-5.3-Flash 模型,将优化深入到微秒级内核层面。
大型语言模型推理在两个阶段面临不同的瓶颈:计算密集型的 Prefill 阶段和内存访问密集型的 Decode 阶段。在 Prefill 阶段,针对 GLM-5.3-Flash 的混合注意力架构,团队重构了大、小计算路径,协调芯片的向量计算单元和矩阵计算单元并行工作,同时避免中间结果频繁进行片外传输。在输入长度为 81,920、并发请求数为 16 的测试中,批量吞吐量提升了 3.41%;在 25.6 万超长输入下,TTFT p50 降低了 4.94%。
在 Decode 阶段,内存访问带宽是最主要的限制因素,团队对分散的算子进行了深度融合。通过 LI 量化回写技术,团队将原本分步执行的动态量化、尺度转换和 HBM 缓存回写合并为一个内核。在 910C 微基准测试中,这项改动将原生链路延迟从 18.03 微秒压缩至 2.04 微秒,提速近 9 倍。结合针对小批量输入的向量路径定制后,端到端商业场景测试显示,Decode 阶段的 ITL 降低了 10% 以上,TPOT 降低了 8% 以上。
除了提升新一代芯片的性能,中国的数据中心还面临一个更迫切的挑战:如何管理已部署的存量设备。大量 Ascend 910B 服务器已投入使用,但在支持具有百万 token(100 万)上下文窗口的新一代模型时,面临 GPU 显存和算力的双重限制。
Zhiyuan 团队在其内部 BAAI Token Hub 上搭建了 Prefill-Decode 分离推理集群,调度 48 张老一代 910B 卡,稳定运行支持 100 万上下文的 GLM-5.3-Flash 服务。该配置将 32 张卡划分为 4 个 Prefill 域,用于处理长序列输入;另外 16 张卡组成 8 个 Decode 域,专注于保障多并发流式输出。该服务已连续稳定运行两周,在线 TTFT P50 保持在约 2.3 秒,TPOT P50 稳定在 22 毫秒。
通过重构缓存和传输路径,系统效率显著提升。团队在框架插件层启用了跨 Prefill 域的 Prefix Cache 复用,将缓存划分为三个存储层级:本地 GPU 内存、专用主机内存和共享主机内存;同时结合分段 SDMA 优化,将分散的内存页合并为连续传输片段,提高 PCIe 带宽利用率。测试数据显示,该方案将前缀命中率从 82.65% 提升至 94.15%,并在缓存复用阶段将首 token 延迟中位数从 16.63 秒降至 3.10 秒,降幅达 81.4%。
Zhiyuan 强调,统一软件栈的价值不能仅凭单一芯片验证。峰会上公布的多芯片横向测试结果显示,FlagOS 2.2 在 Pinecone Technology 810E 上将 DeepSeek-V4.1-Flash 的推理性能提升了 77% 至 82%,实现 16 路并发可用,最高支持 80 路并发,单请求解码速度为 136.2 tok/s。在 Hygon BW1100 上,GLM-5.3-Flash 的推理性能提升超过 25%,单路多并发下的吞吐量超过 80 TPS。
从底层算子库和编译器到跨芯片调度插件,Zhiyuan 作为一级战略合作伙伴参与了此次联合发布,旨在将开源社区积累的优化能力直接带给一线 Token 工厂和企业用户。Zhiyuan 负责人表示,研究院和开源社区发挥着“保驾护航”的作用:无论用户运行的是已长期部署的老旧集群、新部署的新一代芯片,还是未来的新型硬件架构,都无需担心无法运行最新模型。随着算力竞争转向衡量“有效 token”,开放、可复用的系统软件基础正成为国产算力摆脱周期性限制的关键支点。
Zhiyuan 团队在 Prefill 和 Decode 两个阶段都实现了显著的性能提升。在 Prefill 阶段,输入长度为 81,920、并发请求数为 16 时,批量吞吐量提升了 3.41%;在 25.6 万超长输入下,TTFT p50 降低了 4.94%。在 Decode 阶段,团队通过内核级融合和 LI 量化回写技术,在微基准测试中将延迟从 18.03 微秒压缩至 2.04 微秒,性能提升 9 倍。在端到端商业场景测试中,Decode 阶段的 ITL 降低了 10% 以上,TPOT 降低了 8% 以上。
Zhiyuan 搭建了 Prefill-Decode 分离推理集群架构,将 48 张老一代 910B 卡划分为 4 个 Prefill 域(32 张卡)和 8 个 Decode 域(16 张卡)。通过跨域 Prefix Cache 复用、三级缓存划分(本地 GPU 内存、专用主机内存和共享主机内存)以及分段 SDMA 优化,系统将前缀命中率从 82.65% 提升至 94.15%。这使缓存复用阶段的首 token 延迟中位数从 16.63 秒降至 3.10 秒,降幅达 81.4%。该服务连续运行两周,TTFT P50 保持在约 2.3 秒,TPOT P50 为 22 毫秒。
FlagOS 2.2 在多个芯片平台上实现了显著的性能提升。在 Pinecone Technology 810E 上,DeepSeek-V4.1-Flash 的推理性能提升了 77% 至 82%,实现 16 路并发可用,最高支持 80 路并发,单请求解码速度为 136.2 tok/s。在 Hygon BW1100 上,GLM-5.3-Flash 的推理性能提升超过 25%,单路多并发吞吐量超过 80 TPS。
相关快讯