AMD 于 2026 年 11 月 13 日发布 FastFlow v1.0.13,在现有 NPU 支持的基础上,通过统一的本地 API 和 CLI 引入 GPU 推理能力。新的 oga-hipep 后端由 HIP EP v0.5.3 提供支持,为运行 Windows 11 的 AMD Ryzen AI 系统带来高性能 GPU 执行能力,使开发者无需重写现有工具或应用程序即可在 GPU 硬件上运行 AI 模型。
HIP EP GPU 性能与模型支持
HIP EP 是一款开源的 ONNX Runtime 执行提供程序,专为 AMD GPU 上的高性能运行而打造。它通过 MLIR 流水线编译 ONNX 图,并使用 hipBLASLt 和自定义 HIP 内核执行。该执行提供程序支持 20 多种模型架构,并可在 Ryzen AI Max、Ryzen AI 400 和 Ryzen AI 300 系列处理器上支持最长 128,000 个 token 的上下文长度。
HIP EP v0.5.3 在 Ryzen AI Max(Strix Halo)系统上运行的基准测试数据展现了具有竞争力的性能。在 16,000 个 token 的上下文长度下,HIP EP 的首 token 延迟(TTFT)比 llama.cpp (Vulkan) 基准低约 43%,解码吞吐量则高约 7%。在使用 2,048 个 token 的提示词时,HIP EP 报告的绝对解码吞吐量为:Qwen2.5 14B Instruct 每秒 26.10 个 token,Qwen3.5 9B 每秒 38.94 个 token,Qwen3.5 35B-A3B 每秒 67.04 个 token,Gemma 3 4B IT 每秒 74.98 个 token,GPT-OSS 20B 每秒 85.96 个 token。Qwen3.5、Qwen3.6 和 Qwen3.8 模型同时支持文本和图像输入。
统一运行时与开发者体验
FastFlow 是一款轻量级运行时,大小约为 17 MB,专为 AMD Ryzen AI 系统设计。该软件在共享代码中保留语言模型行为,聊天模板、分词、采样和生成循环均运行在后端边界之上。无论模型运行在 NPU 还是 GPU 上,开发者使用的都是同一套 CLI、同一个本地 API 和相同的对话格式;模型标签只用于选择后端。
在运行 FastFlow v1.0.13 或更高版本的 Windows 11 系统上,可通过以下命令部署:flm list 显示可用模型,flm pull 下载模型,flm run 在终端中打开聊天界面,flm serve 则通过兼容 OpenAI 的本地 API 提供模型服务。OGA 目录涵盖 13 个 OGA 模型,来自 Qwen 2.5、3.5、3.6 和 3.8 系列、Gemma 3 和 4,以及 GPT-OSS。名称中带有 -oga-hipep: 的模型(例如 qwen3.5-oga-hipep:9b)通过 HIP EP GPU 流程运行。首次加载 OGA 模型时,如果 HIP EP 运行时尚未安装,系统会自动安装。目前的配置要求主机系统具备受支持的 NPU,即使模型是在 GPU 上运行也是如此。
早期访问版发布与合作
FastFlow v1.0.13 中由 HIP EP 提供支持的 iGPU 流程被指定为早期访问版,现已开放更广泛的使用和反馈。功能、性能和支持的配置可能会根据用户通过 FastFlow 代码仓库提交的反馈而变化。此次发布体现了 FastFlow 团队与 AMD 开发者资源之间的紧密合作,双方的合作被认为是新后端取得成功的关键。
关键事实
- FastFlow v1.0.13 于 2026 年 11 月 13 日发布,通过 HIP EP v0.5.3 添加 GPU 推理,同时保留现有的 NPU 支持
- HIP EP 支持 20 多种模型架构,并可在 Ryzen AI Max、Ryzen AI 400 和 Ryzen AI 300 系列上支持最长 128,000 个 token 的上下文长度
- 在 16,000 个 token 的上下文长度下,TTFT 比 llama.cpp (Vulkan) 基准低约 43%;解码吞吐量高约 7%
- OGA 目录包含来自 Qwen 2.5、3.5、3.6、3.8、Gemma 3 和 4,以及 GPT-OSS 系列的 13 个模型
- 在 Ryzen AI Max 上,Qwen2.5 14B Instruct 的解码吞吐量为每秒 26.10 个 token;Qwen3.5 9B 为每秒 38.94 个 token;Qwen3.5 35B-A3B 为每秒 67.04 个 token;Gemma 3 4B IT 为每秒 74.98 个 token;GPT-OSS 20B 为每秒 85.96 个 token
- FastFlow 运行时大小约为 17 MB
- 统一的 CLI 和兼容 OpenAI 的本地 API 同时支持 NPU 和 GPU 执行路径
- 已确认支持 Windows 11;当前方案要求主机具备受支持的 NPU,即使模型在 GPU 上运行也不例外
- 这是早期访问版,功能、性能和配置可能根据用户反馈而变化
常见问题
什么是 HIP EP?它如何为 FastFlow 提供 GPU 推理能力?
HIP EP 是一款开源的 ONNX Runtime 执行提供程序,专为在 AMD GPU 上实现高性能执行而打造。它通过 MLIR 流水线编译 ONNX 图,并使用 hipBLASLt 和自定义 HIP 内核运行。FastFlow v1.0.13 将 HIP EP 集成为 oga-hipep 后端,使开发者能够在 GPU 硬件上运行 AI 模型,同时继续使用与 NPU 执行相同的 CLI 命令和本地 API 接口。
FastFlow 的 OGA 目录中有哪些模型可用于 GPU 执行?
OGA 目录涵盖多个系列的 13 个模型:Qwen 2.5、Qwen 3.5、Qwen 3.6、Qwen 3.8、Gemma 3、Gemma 4 和 GPT-OSS。名称中带有 -oga-hipep: 的模型通过 HIP EP GPU 流程运行。Qwen 3.5、Qwen 3.6 和 Qwen 3.8 模型还支持图像输入,以及文本输入。
开发者如何在支持 GPU 的 FastFlow 上部署模型?
在运行 FastFlow v1.0.13 或更高版本的 Windows 11 系统上,可通过以下命令部署:flm pull qwen3.5-oga-hipep:9b 下载模型,flm run qwen3.5-oga-hipep:9b 在终端中打开聊天界面,flm serve qwen3.5-oga-hipep:9b 则通过兼容 OpenAI 的本地 API 提供模型服务。首次加载 OGA 模型时,如果 HIP EP 运行时尚未安装,系统会自动安装。