亚马逊宣布,Amazon SageMaker AI 新增 AI 数据准备功能,旨在简化模型开发工作流中高质量数据集的创建。这些功能现已在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式推出,支持团队生成合成示例、评估和改进现有数据集,并通过 Python SDK API 和 AWS AI-ML agent skill 整合专家反馈。这些工具直击机器学习项目中的一项关键瓶颈:数据科学家往往要花数周时间准备数据,而不是构建模型。因此,高效的数据准备对于缩短项目周期、提高模型准确性至关重要。
自动标注与人工审核工作流
AI 数据准备套件包含自动标注功能,可从未标注数据集、小型已标注种子集或完全没有标签的数据中大规模标注数据。内置任务类型包括分类、命名实体识别、抽取式问答、有序评分和摘要,并支持用户定义自定义任务。用户用简短的标注规范描述任务,系统会先根据用户自己的示例验证规范,再对完整数据集进行标注。对于答案集合固定的任务——例如分类、命名实体识别和抽取式问答——系统会由多个模型组成的评审团对每一行进行标注,并将模型间的一致程度作为该行的置信度分数。
置信度低于用户设定阈值的行会自动进入 Amazon SageMaker Studio 中的人工审核队列,该队列使用开源的 Label Studio Community Edition。领域专家可以通过 SageMaker Studio 合作伙伴应用框中的链接访问审核应用。审核者的更正结果会反馈至自动标注流程,用户还可以生成共识指标和标注报告,以跟踪数据质量的改进情况。
合成数据生成与质量评估
合成数据生成功能可根据规范创建训练、评估和测试数据。用户可以用自己的种子数据和文档作为生成依据,服务会生成基于代码的数据生成管道,供用户审核、修改、复用和扩展。数据质量评估功能会根据自定义业务规则、内置指标和 LLM-as-a-judge 指标检查数据集。该功能可识别重复项和近似重复项,并指出标签噪声或答案泄漏等问题,否则这些问题可能直到训练运行失败才会被发现。
数据转换与开发工作流集成
数据转换功能可清理和重塑数据,使其适用于目标训练技术。用户可以用自然语言描述更改并自动生成代码,使用去重、合并、拆分和筛选等内置操作,或大规模运行自定义 Python 代码。这些功能可与用户现有的开发环境无缝集成:团队可以直接使用 SageMaker Python SDK、通过 agent toolkit 中的 AI-ML skill 使用自己的编程代理,或从 SageMaker Studio JupyterLab、Kiro 或本地 IDE 调用 API,并搭配自己选择的编程助手。
Cisco 旗下公司 Splunk 在为其 Agent Observability 产品构建评估模型时,展示了这些功能的实际价值。据 Splunk Agent Observability 工程总监 Yash Sheth 表示,该公司在寻找足够的特定任务数据来训练稳健的生成式 AI 评估模型时遇到了挑战。Sheth 表示:“Amazon SageMaker AI 的合成数据生成功能,正在切实帮助我们扩展这些能力。我们能够快速、可靠地生成具有统计代表性的合成数据集,同时保留模型所依赖的底层模式。与 SageMaker 工作流其余部分的无缝集成,意味着我们的数据科学家和客户可以减少处理数据的时间,将更多时间用于构建能够通过 Splunk 为企业创造实际价值的模型。”
组合功能构建端到端工作流
将这些功能组合到多步骤工作流中,可以进一步放大其价值。一种常见模式是构建黄金评估数据集:利用小型种子集对原始数据进行自动标注,自动接受高置信度的行,并将低置信度的行交由人工审核者处理。审核者的更正会改进后续标注轮次,最终生成可信、经过人工验证的数据集,用于对模型进行基准测试。
另一种工作流模式可在一个集成流程中从原始文档走向训练完成的模型。工作流首先通过合成数据生成,创建以文档和种子数据为依据的特定任务示例。随后,数据转换会将数据重塑为训练技术所需的格式,无论是监督微调(SFT)、直接偏好优化(DPO)还是强化学习(RL)。数据质量评估会在投入计算资源进行训练之前,检查数据集是否存在重复项、数据泄漏和违反规则的情况。最后,经过验证的数据集会用于 SageMaker AI 模型定制训练。
控制与数据安全
使用 AI-ML skill 时,用户以自然语言描述任务,编程代理则协助构建规范、准备代码并协调数据准备步骤。用户始终可以全面查看这些产物,并直接进行修改。对于倾向于手动调用 API 的团队,Python SDK API 支持通过自定义代码调用各项独立功能。所有 AI 数据准备操作均通过由用户控制的 AWS Identity and Access Management(IAM)执行角色运行。源数据、生成的数据集和标签都会保存在用户自己的 Amazon Simple Storage Service(Amazon S3)存储桶中,且存储在用户选择的 AWS 区域。
开始使用 AI 数据准备
用户可以通过两种方式开始使用这些功能。第一种方式是在受支持的笔记本或 IDE 中设置数据准备技能,描述一个训练或评估任务,并在生成样本之前审核所得规范。第二种方式是直接使用 SageMaker Python SDK,通过自定义代码运行单项数据准备功能。AWS 建议先使用 AI-ML skill 创建规范,再通过 SDK 在成熟的工作流中运行规范。完整文档和实施指南请参阅 Amazon SageMaker AI 文档。
关键事实
- AI 数据准备功能现已在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式推出
- 自动标注内置任务类型包括分类、命名实体识别、抽取式问答、有序评分和摘要,并支持自定义任务
- 人工审核使用 Amazon SageMaker Studio 和开源的 Label Studio Community Edition
- 合成数据生成会创建基于代码的数据生成管道,供用户审核、修改、复用和扩展
- 数据质量评估使用自定义规则、内置指标和 LLM-as-a-judge 评估,识别重复项、近似重复项、标签噪声和答案泄漏
- 数据转换包含去重、合并、拆分和筛选等内置操作,也支持大规模运行自定义 Python 代码
- 集成选项包括 SageMaker Python SDK、AWS AI-ML agent skill、SageMaker Studio JupyterLab、Kiro,或搭配编程助手的本地 IDE
- 所有数据均保存在用户控制的 Amazon S3 存储桶中,且位于用户选择的 AWS 区域
常见问题
自动标注支持哪些任务类型?
自动标注功能支持多种内置任务类型,包括分类、命名实体识别、抽取式问答、有序评分和摘要。用户也可以根据具体需求定义自定义任务。对于可选答案固定的任务——分类、命名实体识别和抽取式问答——系统会由多个模型组成的评审团对每一行进行标注,并将模型间的一致程度作为该行的置信度分数。
人工审核流程如何与自动标注集成?
置信度低于用户设定阈值的行会自动进入 Amazon SageMaker Studio 中的人工审核队列,该队列使用开源的 Label Studio Community Edition。领域专家可以通过 SageMaker Studio 合作伙伴应用框中的链接访问审核应用。审核者提供的更正会反馈至自动标注流程,从而改进后续标注轮次。用户可以生成共识指标和标注报告,以跟踪这一迭代流程带来的质量提升。
AI 数据准备功能在哪些 AWS 区域可用?
AI 数据准备功能现已在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式推出。