纽约大学和卡尔加里大学的研究人员发布了 Deletion Tuning 的公开代码。Deletion Tuning 是一种训练后方法,旨在支持他们发表于 NeurIPS 2026 的论文。该方法会学习应删除哪些预训练 LLM 权重;论文报告称,只需将少于模型 0.05% 的权重置零,且不做其他修改,就能在大规模场景下达到全量微调(FFT)的效果。代码仓库称,这一结果适用于三种训练后方案:带可验证奖励的强化学习、监督微调和策略内蒸馏。作者表示,训练得到的掩码比对应的 FFT 检查点小数百至数千倍;与其他方法相比,Deletion Tuning 的遗忘程度也低得多。论文将此视为持续学习的一项核心挑战。
Deletion Tuning 会在 transformer 模块的门控投影上学习一个二元掩码。代码仓库将其描述为一种学习应删除 LLM 哪些预训练权重的方法,并将这一方法应用于 GRPO、监督微调(SFT)和策略内自蒸馏(SDFT)。代码库使用这三种方法分别训练 Deletion Tuning,将每个掩码保存为压缩位图,将掩码应用于基础模型,并在论文的基准测试上进行评估。
代码仓库列出了 GRPO 实验中使用的模型,包括在 GSM8K 上训练的 llama1b(Llama-3.2-1B-Instruct)和 llama3b(Llama-3.2-3B-Instruct),以及同样在 GSM8K 上训练的 llama8b(Meta-Llama-3-8B-Instruct)。仓库还列出了在 SimpleRL-Zoo 上训练的 Qwen 模型,包括 qwen0.5b、qwen3b、qwen7b、qwen14b 和 qwen30b_a3b(Qwen3-30B-A3B-Base,MoE)。对于 SFT,代码仓库描述了在 MMLU-Pro(14 个类别)和 BBEH(23 个任务)上按任务分别学习一个掩码。对于 SDFT,仓库描述了在 ToolAlpaca(tooluse)和 Science(science)上训练 Qwen2.5-7B-Instruct。
论文摘要指出,在强化学习中,Deletion Tuning 在先前任务上的准确率保持在接近基础模型的水平,而 FFT、LoRA 和随机稀疏微调的准确率最多会下降 5.4 个百分点。为解释为何仅使用掩码就足够,作者使用稳定秩、谱漂移和主权重重叠分析了强化学习下学习到的权重变化几何特性。摘要称,与 LoRA 和随机稀疏微调相比,Deletion Tuning 在这三项指标上都最接近 FFT。
代码仓库还提供了 Llama GSM8K 运行的保留能力分析。分析测量了基础模型的前向 KL,以及六项先前任务基准上的平均准确率:HellaSwag、TruthfulQA、MMLU、IFEval、WinoGrande 和 HumanEval。同一分析也涵盖基础模型和该次运行的掩码。
代码仓库将三种训练方案分别放在独立环境中,每个环境均使用 uv 创建。对于 GRPO,用户首先需要构建 GSM8K 和 SimpleRL-Zoo 的 parquet 文件,然后按照论文中的设置训练模型。掩码保存在输出目录的 global_step 文件夹中,指标则记录在 metrics.jsonl 和 Weights & Biases 中。一个名为 summarize_grpo.py 的实用脚本会输出某次运行的最佳验证结果:Llama 模型报告 GSM8K 准确率,Qwen 模型报告六项 SimpleRL-Zoo 基准的平均值。
对于 SFT,代码仓库指出,训练前必须从 google-deepmind 仓库克隆 BBEH,并检出指定提交版本。SFT 掩码按任务保存。对于 SDFT,掩码保存在 mask_step 文件夹中,训练结束时还会保存在一个最终掩码文件夹中。代码仓库还包含全量微调基线,只需在每条训练命令中设置 METHOD=fft 即可启用。
作者在 Hugging Face 上发布了论文主要结果所用的训练掩码,每项实验对应一个文件夹。代码仓库中列出的示例包括 grpo/qwen2.5-7b-simplerl-zoo、sft/llama-3.2-1b-instruct-mmlu-pro(每个类别一个掩码),以及 sdft/qwen2.5-7b-instruct-toolalpaca。代码仓库称,将掩码应用于对应基础模型时,会把被删除的权重置零,并保存为可由 Transformers 或 vLLM 加载的标准模型。代码采用 MIT 许可证发布。
Deletion Tuning 会将一小部分预训练权重置零,不会改变模型的其他部分。代码仓库称,它会在 transformer 模块的门控投影上学习一个二元掩码;论文报告称,将少于 0.05% 的权重置零,就能在大规模场景下达到全量微调的效果。
论文摘要指出,在强化学习中,Deletion Tuning 在先前任务上的准确率保持在接近基础模型的水平,而 FFT、LoRA 和随机稀疏微调的准确率最多会下降 5.4 个百分点。作者还表示,训练得到的掩码比对应的 FFT 检查点小数百至数千倍。
代码仓库列出了在 GSM8K 上训练的 llama1b(Llama-3.2-1B-Instruct)和 llama3b(Llama-3.2-3B-Instruct),以及同样在 GSM8K 上训练的 llama8b(Meta-Llama-3-8B-Instruct)。这些实验的训练掩码可在 Hugging Face 上获取,代码仓库还包含 apply_mask.py 脚本,可将已保存的掩码应用于对应的基础模型。
相关快讯