AMD 于 2026 年 11 月 02 日表示,Ryzen AI Software 1.9 版支持在推理时动态切换 LoRA 适配器。动态 LoRA 解决了为每个适配器单独编译完整模型所造成的重复问题。在 NPU 上常驻一个量化基础模型后,应用程序便可按名称激活不同的适配器。
Ryzen AI 动态 LoRA 复用单个已编译基础模型
此前,在 Ryzen AI 上运行微调模型的受支持方法是静态合并:将 LoRA 权重合并到基础模型中,再将合并后的模型编译为单个 NPU 二进制文件。每个合并模型都包含一份完整的基础模型,因此,同一基础模型要使用五个专用适配器,就需要分发和加载五个完整的二进制文件。应用程序切换角色时,也意味着要加载另一个模型。
动态 LoRA 则只编译一次基础模型,并将适配器编译为可加载的小型文件。在运行时,同一个已加载的基础模型可为多个适配器提供服务,应用程序则为每个请求选择要激活的适配器。示例中使用 set_active_adapter("sql_spider") 激活 SQL 专用适配器,使用 set_active_adapter("med_mcqa") 切换到医疗专用适配器,并使用 set_active_adapter("base") 返回纯基础模型。
LoRA 微调使用量化后的基础模型
NPU 以量化形式运行基础模型;示例中使用 INT4。AMD 表示,如果在全精度模型上训练 LoRA 适配器,再将其应用于量化后的基础模型,适配器学到的修正可能不再与其所作用的权重相匹配,从而降低其在设备上的效果。
推荐的方法是针对已量化的基础模型训练适配器。微调期间,基础模型保持冻结和量化状态,仅训练适配器。AMD 表示,这样得到的适配器适用于实际部署的特定模型。
AMD 介绍动态 LoRA 的四阶段工作流程
工作流程首先使用 AMD Quark,通过 INT4 AWQ 对基础模型进行一次量化。随后,针对这个冻结的量化基础模型微调每个 LoRA 适配器,并以未合并状态保存。接着,使用 model_generate 调用为基础模型和每个适配器编译 NPU 文件,每个适配器对应一次调用。在服务阶段,基础模型只需加载一次,再按名称激活适配器。只有最后的服务阶段在 Ryzen AI PC 上运行。
Qwen3-4B 示例报告适配器准确率提升
AMD 的示例在同一个 Qwen3-4B INT4 基础模型上训练了两个适配器:一个名为 Spider 的文本转 SQL 适配器,以及一个名为 MedMCQA 的医学选择题适配器。在 Ryzen AI NPU 上,Spider 文本转 SQL 适配器的执行准确率为 63.0%,而基础模型为 47.5%,差值为 +15.5。MedMCQA 医学适配器的精确匹配率为 53.0%,而基础模型为 42.0%,差值为 +11.0。两项评估均使用了 n=200 个样例。
AMD 表示,两个适配器的输出都来自同一会话中加载的同一个模型,二者之间调用了一次 set_active_adapter。可运行示例涵盖量化、数据准备、LoRA 微调、NPU 编译和动态切换脚本,已发布在 Ryzen AI Software 示例代码库中。
Ryzen AI Software 1.9 支持特定型号
Ryzen AI Software 1.9 版支持在特定型号上使用动态 LoRA:Qwen2.5-3B、Qwen3-4B 和 Qwen3.5-4B(文本)。该版本还新增了长上下文支持、导入通过量化感知训练(QAT)生成的 INT4 量化模型的功能,以及对其他型号的支持。
Ryzen AI 动态 LoRA 详情
- Ryzen AI Software 1.9 版支持动态 LoRA。
- 支持的特定型号包括 Qwen2.5-3B、Qwen3-4B、Qwen3.5-4B(文本)。
- 示例使用 AMD Quark,通过 INT4 AWQ 量化基础模型。
- 示例使用一个 Qwen3-4B INT4 基础模型,并搭配 Spider 和 MedMCQA 适配器。
- Spider 文本转 SQL 执行准确率:基础模型为 47.5%,LoRA 为 63.0%,差值为 +15.5。
- MedMCQA 医学精确匹配率:基础模型为 42.0%,LoRA 为 53.0%,差值为 +11.0。
- 两项适配器评估均使用了 n=200 个样例。
- 使用 model_generate 调用为基础模型和每个适配器编译 NPU 文件,每个适配器对应一次调用。
- Ryzen AI Software 1.9 版还新增了长上下文支持、导入通过量化感知训练(QAT)生成的 INT4 量化模型的功能,以及对其他型号的支持。
常见问题
AMD Ryzen AI 上的动态 LoRA 有什么作用?
动态 LoRA 允许一个已编译的基础模型持续加载在 NPU 上,同时让应用程序在推理时按名称激活不同的 LoRA 适配器。这样就无需为每个适配器编译和加载一个完整的合并基础模型。
Ryzen AI Software 1.9 版中的动态 LoRA 支持哪些模型?
来源列出的动态 LoRA 支持型号包括 Qwen2.5-3B、Qwen3-4B、Qwen3.5-4B(文本)。
AMD 报告的 Qwen3-4B 示例准确率结果如何?
在 Ryzen AI NPU 上,Spider 文本转 SQL 执行准确率使用 LoRA 时为 63.0%,基础模型为 47.5%,差值为 +15.5。MedMCQA 医学精确匹配率使用 LoRA 时为 53.0%,基础模型为 42.0%,差值为 +11.0。两项评估均使用了 n=200 个样例。