AMD 于 2026 年 11 月 13 日发布 FastFlow v1.0.13,新增由 HIP EP 驱动的 GPU 推理功能,同时保留现有的 NPU 支持。此次更新让开发者只需使用三个命令:flm pull、flm run 和 flm serve,即可通过统一的 CLI 和兼容 OpenAI 的本地 API,在 AMD Ryzen AI 系统上运行 AI 模型。FastFlow 是一款 17 MB 的轻量级运行时,现在同时支持 NPU 和 GPU 执行路径,并确保两个后端的分词、采样和生成行为保持一致。
FastFlow v1.0.13 GPU 架构与性能
FastFlow v1.0.13 在单一界面下整合了两种推理流程:现有的 NPU 路径和由 HIP EP 驱动的全新 GPU 执行路径。HIP EP 是一个开源的 ONNX Runtime 执行提供程序,可通过 MLIR 流水线编译 ONNX 图,并使用 hipBLASLt 和自定义 HIP 内核执行。这个名为 oga-hipep 的新后端基于 ONNX Runtime GenAI 构建,可在 AMD Ryzen AI 系统上实现 GPU 推理。
HIP EP 支持 20 多种模型架构,并在 Ryzen AI Max、Ryzen AI 400 和 Ryzen AI 300 系列处理器上支持最长 12.8 万个 token 的上下文。在 Ryzen AI Max(Strix Halo)系统上进行的性能基准测试显示,在 1.6 万上下文长度下,HIP EP v0.5.3 的表现优于 llama.cpp(Vulkan):首 token 生成时间(TTFT)约低 43%,解码吞吐量(TPS)约高 7%。在 Ryzen AI Max(Strix Halo)上使用 2,048-token 提示词时,Qwen2.5 14B Instruct(文本)的绝对解码吞吐量达到 26.10 tokens/s,Qwen3.5 9B(文本和图像)达到 38.94 tokens/s,Qwen3.5 35B-A3B(文本和图像)达到 67.04 tokens/s,Gemma 3 4B IT(文本)达到 74.98 tokens/s,GPT-OSS 20B(文本)达到 85.96 tokens/s。
OGA 模型目录与部署
FastFlow v1.0.13 可通过 OGA 目录使用 13 款模型,涵盖 Qwen 2.5、3.5、3.6 和 3.8、Gemma 3 和 4,以及 GPT-OSS。名称中带有 -oga-hipep: 标记的模型通过 HIP EP 流程执行。Qwen 3.5、3.6 和 3.8 模型还支持图像输入以及文本输入。在运行 FLM v1.0.13 或更高版本的受支持 Windows 11 系统上,开发者可以使用 flm list 查看可用模型,使用 flm pull qwen3.5-oga-hipep:9b 下载模型,使用 flm run qwen3.5-oga-hipep:9b 在终端启动交互式聊天,或使用 flm serve qwen3.5-oga-hipep:9b 通过兼容 OpenAI 的本地 API 提供模型服务。首次加载 OGA 模型时,如果尚未安装 HIP EP 运行时,系统会自动安装。即使模型在 GPU 上运行,当前实现仍要求主机系统配备受支持的 NPU。
统一运行时与开发者体验
FastFlow 通过共享代码,确保语言模型在 NPU 和 GPU 后端上的行为保持一致。聊天模板、分词、采样和生成循环均位于后端边界之上,因此无论模型运行在 NPU 还是 GPU 上,开发者获得的 CLI 界面、本地 API 和对话格式都相同。只需更改模型标记即可在不同后端之间切换模型。借助兼容 OpenAI 的服务器接口,这种架构让现有工具和应用无需重写代码即可接入。
关键事实
- FastFlow v1.0.13 于 2026 年 11 月 13 日发布,新增通过 HIP EP 实现的 GPU 推理,同时支持 NPU
- HIP EP 是一个开源的 ONNX Runtime 执行提供程序,支持 20 多种模型架构,并在 Ryzen AI Max、Ryzen AI 400 和 Ryzen AI 300 系列上支持最长 12.8 万个 token 的上下文
- HIP EP v0.5.3 在 Ryzen AI Max(Strix Halo)上以 1.6 万上下文进行的基准测试:TTFT 比 llama.cpp(Vulkan)低 43%,解码 TPS 高 7%
- OGA 模型目录包含 13 款模型:Qwen 2.5、3.5、3.6、3.8、Gemma 3 和 4,以及 GPT-OSS
- 在 Ryzen AI Max(Strix Halo)上使用 2,048-token 提示词时的解码吞吐量:Qwen2.5 14B 为 26.10 tokens/s,Qwen3.5 9B 为 38.94 tokens/s,Qwen3.5 35B-A3B 为 67.04 tokens/s,Gemma 3 4B IT 为 74.98 tokens/s,GPT-OSS 20B 为 85.96 tokens/s
- FastFlow 运行时大小:约 17 MB
- 在 Windows 11 上部署模型需要三个命令:flm pull、flm run、flm serve
- GPU 路径目前为早期访问版本;功能、性能和支持的配置可能会发生变化
常见问题
FastFlow v1.0.13 支持哪些主要硬件平台?
FastFlow v1.0.13 支持搭载 Ryzen AI Max、Ryzen AI 400 和 Ryzen AI 300 系列处理器的 AMD Ryzen AI 系统。通过 HIP EP 实现的 GPU 执行路径支持这些平台上的 Windows 11。即使模型在 GPU 上运行,当前实现仍要求主机系统配备受支持的 NPU。
HIP EP 的性能与现有推理框架相比如何?
在 Ryzen AI Max(Strix Halo)系统上以 1.6 万上下文进行测试时,HIP EP v0.5.3 的首 token 生成时间比 llama.cpp(Vulkan)约低 43%,解码吞吐量约高 7%。绝对解码吞吐量因模型而异:在同一系统上使用 2,048-token 提示词时,GPT-OSS 20B 达到 85.96 tokens/s,Qwen3.5 35B-A3B 达到 67.04 tokens/s,Gemma 3 4B IT 达到 74.98 tokens/s。
FastFlow OGA 目录提供哪些模型?
OGA 目录包含 13 款模型,涵盖 Qwen 2.5、3.5、3.6 和 3.8、Gemma 3 和 4,以及 GPT-OSS。Qwen 3.5、3.6 和 3.8 模型支持文本和图像输入,其他模型支持文本输入。所有模型均可通过 FastFlow v1.0.13 中的 -oga-hipep: 后端运行。