FastFlow v1.0.13 通过 HIP EP 为 AMD Ryzen AI 增加 GPU 支持

AMD-7.84%

关键要点

  • AMD 于 2026 年 11 月 13 日发布 FastFlow v1.0.13,新增通过 HIP EP 支持 GPU 推理,并支持在 Ryzen AI 系统上使用 NPU。
  • 基准测试显示,在 1.6 万词元的上下文长度下,Ryzen AI Max 上的 HIP EP v0.5.3 相比 llama.cpp(Vulkan)首词元延迟降低 43%,解码吞吐量提升 7%。
  • FastFlow v1.0.13 提供统一的 CLI 接口,可访问 13 款 OGA 模型,支持 20 多种模型架构和 12.8 万词元的上下文长度,适用于 Ryzen AI Max、Ryzen AI 400 和 Ryzen AI 300 系列处理器。

AMD 于 2026 年 11 月 13 日发布 FastFlow v1.0.13,新增由 HIP EP 驱动的 GPU 推理功能,同时保留现有的 NPU 支持。此次更新让开发者只需使用三个命令:flm pull、flm run 和 flm serve,即可通过统一的 CLI 和兼容 OpenAI 的本地 API,在 AMD Ryzen AI 系统上运行 AI 模型。FastFlow 是一款 17 MB 的轻量级运行时,现在同时支持 NPU 和 GPU 执行路径,并确保两个后端的分词、采样和生成行为保持一致。

FastFlow v1.0.13 GPU 架构与性能

FastFlow v1.0.13 在单一界面下整合了两种推理流程:现有的 NPU 路径和由 HIP EP 驱动的全新 GPU 执行路径。HIP EP 是一个开源的 ONNX Runtime 执行提供程序,可通过 MLIR 流水线编译 ONNX 图,并使用 hipBLASLt 和自定义 HIP 内核执行。这个名为 oga-hipep 的新后端基于 ONNX Runtime GenAI 构建,可在 AMD Ryzen AI 系统上实现 GPU 推理。

HIP EP 支持 20 多种模型架构,并在 Ryzen AI Max、Ryzen AI 400 和 Ryzen AI 300 系列处理器上支持最长 12.8 万个 token 的上下文。在 Ryzen AI Max(Strix Halo)系统上进行的性能基准测试显示,在 1.6 万上下文长度下,HIP EP v0.5.3 的表现优于 llama.cpp(Vulkan):首 token 生成时间(TTFT)约低 43%,解码吞吐量(TPS)约高 7%。在 Ryzen AI Max(Strix Halo)上使用 2,048-token 提示词时,Qwen2.5 14B Instruct(文本)的绝对解码吞吐量达到 26.10 tokens/s,Qwen3.5 9B(文本和图像)达到 38.94 tokens/s,Qwen3.5 35B-A3B(文本和图像)达到 67.04 tokens/s,Gemma 3 4B IT(文本)达到 74.98 tokens/s,GPT-OSS 20B(文本)达到 85.96 tokens/s。

OGA 模型目录与部署

FastFlow v1.0.13 可通过 OGA 目录使用 13 款模型,涵盖 Qwen 2.5、3.5、3.6 和 3.8、Gemma 3 和 4,以及 GPT-OSS。名称中带有 -oga-hipep: 标记的模型通过 HIP EP 流程执行。Qwen 3.5、3.6 和 3.8 模型还支持图像输入以及文本输入。在运行 FLM v1.0.13 或更高版本的受支持 Windows 11 系统上,开发者可以使用 flm list 查看可用模型,使用 flm pull qwen3.5-oga-hipep:9b 下载模型,使用 flm run qwen3.5-oga-hipep:9b 在终端启动交互式聊天,或使用 flm serve qwen3.5-oga-hipep:9b 通过兼容 OpenAI 的本地 API 提供模型服务。首次加载 OGA 模型时,如果尚未安装 HIP EP 运行时,系统会自动安装。即使模型在 GPU 上运行,当前实现仍要求主机系统配备受支持的 NPU。

统一运行时与开发者体验

FastFlow 通过共享代码,确保语言模型在 NPU 和 GPU 后端上的行为保持一致。聊天模板、分词、采样和生成循环均位于后端边界之上,因此无论模型运行在 NPU 还是 GPU 上,开发者获得的 CLI 界面、本地 API 和对话格式都相同。只需更改模型标记即可在不同后端之间切换模型。借助兼容 OpenAI 的服务器接口,这种架构让现有工具和应用无需重写代码即可接入。

关键事实

  • FastFlow v1.0.13 于 2026 年 11 月 13 日发布,新增通过 HIP EP 实现的 GPU 推理,同时支持 NPU
  • HIP EP 是一个开源的 ONNX Runtime 执行提供程序,支持 20 多种模型架构,并在 Ryzen AI Max、Ryzen AI 400 和 Ryzen AI 300 系列上支持最长 12.8 万个 token 的上下文
  • HIP EP v0.5.3 在 Ryzen AI Max(Strix Halo)上以 1.6 万上下文进行的基准测试:TTFT 比 llama.cpp(Vulkan)低 43%,解码 TPS 高 7%
  • OGA 模型目录包含 13 款模型:Qwen 2.5、3.5、3.6、3.8、Gemma 3 和 4,以及 GPT-OSS
  • 在 Ryzen AI Max(Strix Halo)上使用 2,048-token 提示词时的解码吞吐量:Qwen2.5 14B 为 26.10 tokens/s,Qwen3.5 9B 为 38.94 tokens/s,Qwen3.5 35B-A3B 为 67.04 tokens/s,Gemma 3 4B IT 为 74.98 tokens/s,GPT-OSS 20B 为 85.96 tokens/s
  • FastFlow 运行时大小:约 17 MB
  • 在 Windows 11 上部署模型需要三个命令:flm pull、flm run、flm serve
  • GPU 路径目前为早期访问版本;功能、性能和支持的配置可能会发生变化

常见问题

FastFlow v1.0.13 支持哪些主要硬件平台?

FastFlow v1.0.13 支持搭载 Ryzen AI Max、Ryzen AI 400 和 Ryzen AI 300 系列处理器的 AMD Ryzen AI 系统。通过 HIP EP 实现的 GPU 执行路径支持这些平台上的 Windows 11。即使模型在 GPU 上运行,当前实现仍要求主机系统配备受支持的 NPU。

HIP EP 的性能与现有推理框架相比如何?

在 Ryzen AI Max(Strix Halo)系统上以 1.6 万上下文进行测试时,HIP EP v0.5.3 的首 token 生成时间比 llama.cpp(Vulkan)约低 43%,解码吞吐量约高 7%。绝对解码吞吐量因模型而异:在同一系统上使用 2,048-token 提示词时,GPT-OSS 20B 达到 85.96 tokens/s,Qwen3.5 35B-A3B 达到 67.04 tokens/s,Gemma 3 4B IT 达到 74.98 tokens/s。

FastFlow OGA 目录提供哪些模型?

OGA 目录包含 13 款模型,涵盖 Qwen 2.5、3.5、3.6 和 3.8、Gemma 3 和 4,以及 GPT-OSS。Qwen 3.5、3.6 和 3.8 模型支持文本和图像输入,其他模型支持文本输入。所有模型均可通过 FastFlow v1.0.13 中的 -oga-hipep: 后端运行。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论