AMD 与 Unsloth 正在让 100 多款 AI 智能体应用和工作流能够在受支持的 AMD Ryzen AI PC 上使用本地 NPU 推理。AMD XDNA 2 NPU 是首批获得 Unsloth Desktop 支持的神经处理单元,其 API 可将兼容应用连接到在 NPU 上运行的受支持模型。这项合作为用户提供了 GPU 执行之外的另一种选择,使 AMD XDNA 2 NPU 能够处理持续的低功耗推理,同时让 CPU 和 GPU 资源可供其他应用使用。
AMD XDNA 2 NPU 与 Unsloth Desktop 集成
AMD 正通过支持 Unsloth Desktop,扩展开发者和用户可用的计算资源,让他们能够通过熟悉的应用在本地高效部署和运行智能体工作流。Unsloth 涵盖模型开发和部署,提供可加速微调并降低 GPU 内存需求的开源工具,以及一款无需编写代码即可进行训练和推理的桌面应用。AMD NPU 支持让这一生态系统不再局限于 CPU 和 GPU 执行,为用户提供节能的推理选项,并将其连接到 100 多款兼容的 AI 智能体应用和工作流。
NPU 驱动的推理如何运作
兼容应用会向 Unsloth Desktop API 发送模型请求,Lemonade 和 FastFlowLM 则负责在 AMD XDNA 2 NPU 上提供模型服务并进行推理。模型的响应会返回应用,供其工作流使用。NPU 会加速受支持模型的推理,而应用的其他功能则会根据需要继续使用 PC 的 CPU 和 GPU。Unsloth Desktop API 为兼容应用提供符合 OpenAI 标准的端点,集成范围包括 100 多款 AI 智能体应用和工作流。
可用的 NPU 驱动工具和应用
通过 Unsloth Desktop API 可使用的工具包括 Hermes Agent、OpenClaw、Open WebUI、Cline、LangChain 和 GitHub Copilot。这些应用可以通过连接的工具执行多步骤任务。本地 NPU 推理让兼容智能体能够以更节能的方式处理模型请求并完成这些任务,同时让 CPU 和 GPU 资源可供任务编排和其他应用使用,从而帮助用户减少管理单个步骤的时间,把更多时间用于审查结果。
关键事实
- AMD XDNA 2 NPU 是首批获得 Unsloth Desktop 支持的神经处理单元
- 100 多款 AI 智能体应用和工作流兼容此集成
- Unsloth Desktop API 提供符合 OpenAI 标准的端点
- 兼容工具包括 Hermes Agent、OpenClaw、Open WebUI、Cline、LangChain 和 GitHub Copilot
- Lemonade 和 FastFlowLM 负责在 AMD XDNA 2 NPU 上提供模型服务并进行推理
- 此集成可在 AMD Ryzen AI PC 上实现低功耗推理,同时保留 CPU 和 GPU 资源
常见问题
Unsloth Desktop 对 AMD XDNA 2 NPU 的支持是什么?
AMD XDNA 2 NPU 是首批获得 Unsloth Desktop 支持的神经处理单元,使 100 多款 AI 智能体应用和工作流能够在受支持的 AMD Ryzen AI PC 上使用本地 NPU 推理。Unsloth Desktop API 可将兼容应用连接到在 NPU 上运行的受支持模型,并提供符合 OpenAI 标准的集成端点。
本地 NPU 推理如何让 AMD Ryzen AI PC 上的 AI 智能体受益?
本地 NPU 推理让兼容智能体能够以更节能的方式处理模型请求,并通过连接的工具完成多步骤任务。NPU 会加速受支持模型的推理,同时让 CPU 和 GPU 资源可供任务编排和其他应用使用,帮助用户减少管理单个步骤的时间,把更多时间用于审查结果。
哪些应用兼容 AMD XDNA 2 NPU 集成?
100 多款 AI 智能体应用和工作流兼容此集成。可用工具包括 Hermes Agent、OpenClaw、Open WebUI、Cline、LangChain 和 GitHub Copilot,均可通过 Unsloth Desktop API 使用。