Meta Platforms 已部署 AI Agent,在其广告排序模型群中自动化技术推广工作;自 2026 年 3 月开始执行以来,Agent 目前已处理超过 60% 的全部推广工作。公司报告的早期结果显示,工程效率提高了 3 倍,部分技术与模型组合的训练计算量中位数减少了 4 倍,并预计到年底可节省超过 4500 万美元的计算成本。
技术推广系统解决了一项核心挑战:Meta 的广告推荐系统依赖大量不同的广告排序模型,每个模型都有不同的架构、训练数据和服务约束。当机器学习研究人员和工程师开发改进方案——即所谓的“技术”,包括 Wukong 分解层等架构进步、Interformer 交互网络、更丰富的数据表示、训练优化或效率改进——这些创新必须迅速适配并部署到整个模型群中,以赶在新一代技术出现之前完成推广。
Meta 如何定义技术并将其扩展到不同模型
技术指任何能让排序模型变得更好的事物。例如,Wukong 分解层和 Interformer 交互网络等架构进步、更丰富的数据表示、训练优化,或训练和推理效率方面的改进。根本挑战在于,每个模型都有自己的架构、数据以及训练和服务约束,这意味着在一个模型上验证有效的技术,几乎从来不能直接迁移到另一个模型,必须经过大量适配。
Meta 过去依赖领域专家工程师手动适配:他们研究技术如何与特定模型的架构相互作用,将其泛化,并根据该模型的约束进行调优。尽管这种方法效果最好,且仍用于公司收入最高的模型,但无法扩展到整个模型组合。在过去 2 年里,Meta 通过标准化和基于模板的方法实现自动化,在庞大且多样化的模型群中推出了 5,000 多种技术与模型组合,同时将每个模型的工程耗时减少了 92%。
然而,即便实现了标准化和自动化,成功推广仍需要大量人为判断,包括将哪种技术推广到哪个模型、超参数搜索范围应设多大、模型为何没有取得提升,以及如何检测和解决故障。这些决策瓶颈使公司无法实现这样一种状态:所有适用模型都能在某项技术验证有效后的几周内用上该技术。
AI Agent 在发现、泛化和采用中的作用
Meta 围绕 AI Agent 构建的技术推广系统具备三项核心能力。发现会持续更新已验证技术的实时情况,并估算每项技术的迁移效果,生成按预期影响排序的优先技术与模型候选列表。不久前,这些问题还需要由领域专家逐个模型解答,依赖他们对研究和组织内各项结果的了解。如今,AI Agent 会借助共享知识库,系统地识别已验证技术,一次性估算其在整个模型群中的可迁移性,并生成按预期影响排序的优先列表。
泛化会重新实现已在一个模型上验证的技术,使其适用于架构、特征表示、训练数据和服务约束各不相同的模型。对于基于标准化模板构建的模型,Agent 会协助构建、评估和改进模板本身:根据已验证技术提出优化假设,在具有代表性的模型组中启动实验,评估结果、诊断故障,并通过多轮迭代不断改进。对于公司收入最高、技术针对每个模型定制的模型,Agent 会在首次应用时与机器学习工程师协作,并在此过程中逐步学习,跟踪每项变更及其结果,从而记录哪些方法有效、哪些无效,以及哪些决策是模型特有的、哪些可以泛化。
Agent 会利用数百万次以往训练运行的结果以及每个目标模型自身的特性,从最可能奏效的配置开始;根据每轮训练结果缩小下一轮的超参数搜索空间,并判断哪些实验值得继续,哪些应当提前停止。这种方法使部分技术与模型组合的训练计算量中位数减少了 4 倍。
采用通过启动实验、管理为期数天的异步训练运行、监控收敛情况、诊断并恢复故障,以及整理方案,将经过验证的适配大规模转化为已上线模型。Agent 会为每个具体模型找出最佳的技术组合配置。发生故障时,无论原因是基础设施问题、训练发散还是数据流水线错误,集成式调试与恢复功能都会诊断根本原因,并采取有针对性的修复或重试。Agent 会同时管理数百个工作流,并根据收入重要性、技术潜力和截止日期临近程度对其排序,从停滞或价值较低的运行中释放资源,让 GPU 始终用于价值最高的工作。工程师现在可以在关键决策点保持监督,同时处理比以往多 3 倍的技术与模型适配任务。
评估与未来扩展
由 Agent 推广的技术与由工程师推广的技术接受同样的评估。技术必须提升预测性能等离线指标,例如归一化熵(NE),同时不能导致训练或推理成本等关键护栏指标退步。随后,还必须在在线 A/B 测试中取得统计显著的提升,才能上线。
在发现阶段,Meta 会衡量 Agent 选出的技术与模型候选项的精确率和召回率:精确率是最终成功上线该技术的已选模型所占比例;召回率则是 Agent 找出的可行模型占该技术所有可行模型的比例。在泛化阶段,公司会在广泛的模型范围内评估技术:先在缩小规模的模型上测试,以便广泛筛选适配方案,同时控制计算成本;然后在具有代表性的全尺寸模型上评估,要求模型的 NE 得到改善,并满足所有护栏指标。在采用阶段,Meta 会继续通过预测性能和护栏指标评估正确性,同时跟踪完成一项实验所需的人工介入次数,以及 Agent 能够自主诊断并缓解的问题所占比例。
鉴于早期结果,Meta 正在扩大由 Agent 驱动的工作流,使其成为技术推广的主要方式。目前,每项已验证技术推广到所有适用模型可能需要一年多。公司希望通过将 Agent 驱动工作流的端到端吞吐量提升至 5 倍,将所需时间缩短至 3 个月。为实现这一目标,Meta 将继续投资于 Agent 自身的智能,通过自我进化学习提升泛化质量、资源效率和执行能力,让 Agent 根据累积结果不断改进自身策略,而不再仅依赖人工提供的启发式规则。
关键事实
- 自 2026 年 3 月开始执行以来,AI Agent 已处理超过 60% 的全部技术推广工作
- 早期结果显示,与人工推广相比,工程效率提高了 3 倍
- 部分技术与模型组合的训练计算量中位数减少了 4 倍
- 预计到年底可节省超过 4500 万美元的计算成本
- 在过去 2 年里,Meta 推出了 5,000 多种技术与模型组合,同时将每个模型的工程耗时减少了 92%
- 技术类型包括 Wukong 分解层等架构进步、Interformer 交互网络、更丰富的数据表示,以及训练和推理优化
- 已验证技术推广到所有适用模型目前需要一年多;目标是缩短至 3 个月
- 目标是将技术推广中由 Agent 驱动工作流的端到端吞吐量提升至 5 倍
常见问题
在 Meta 广告排序模型的语境中,“技术”指什么?
技术指任何能让排序模型变得更好的事物。这包括 Wukong 分解层和 Interformer 交互网络等架构进步、更丰富的数据表示、训练优化,或训练和推理效率方面的改进。Meta 的广告推荐系统依赖大量不同的广告排序模型,分别服务于不同的产品展示界面和广告主目标;在一个模型上验证有效的技术必须经过适配并部署到整个模型群中。
AI Agent 如何提高技术推广中的工程效率?
AI Agent 通过自动化三个阶段中依赖判断且具有非确定性的决策过程来提高效率:发现(确定哪些技术最适用于各个模型)、泛化(调整技术,使其适用于架构和约束不同的模型)以及采用(大规模上线适配后的技术)。Agent 能管理数百个并行任务、自动诊断并缓解故障,还能根据以往训练运行结果缩小超参数搜索空间,从而使每位工程师处理的技术与模型适配任务比以往多 3 倍,整体工程效率提高 3 倍。
Meta 计划在多长时间内将已验证技术推广到所有适用模型?
目前,每项已验证技术推广到所有适用模型可能需要一年多。Meta 希望通过将技术推广中由 Agent 驱动工作流的端到端吞吐量提升至 5 倍,将所需时间缩短至 3 个月。为实现这一目标,公司将继续投资于 Agent 自身的智能,通过自我进化学习提升泛化质量、资源效率和执行能力,让 Agent 根据累积结果不断改进自身策略。