Claude Platform 新增面向 Databricks MLflow 的原生 OpenTelemetry 导出功能

关键要点

  • Claude Platform 原生支持通过 OpenTelemetry 将数据导出至 Databricks MLflow,该功能于 2026 年 11 月 4 日进入公开测试版,支持 Anthropic SDK、Messages API 和 Claude Managed Agents。
  • Databricks 通过 Zerobus Ingest 接收 Claude 追踪数据,并将其存储在 Unity Catalog 表中,从而支持 SQL 查询和对敏感智能体追踪数据实施访问治理。
  • MLflow 工具包括 Analyze、Issues(测试版)、Review Queues 和 Agent Evaluation,可帮助开发者通过分析追踪数据调试智能体故障、识别反复出现的问题并衡量性能改进。

Databricks 于 2026-11-04T05:00:00+08:00 表示,Claude Platform 原生导出 OpenTelemetry 数据至 Databricks MLflow 的功能已进入公开测试版。该集成让使用 Anthropic SDK、Messages API 和 Claude Managed Agents 的开发者能够向 Databricks 发送原生追踪数据。这些追踪数据可与 MLflow 配合使用,用于调查智能体故障、审查回答和评估变更。

Claude OpenTelemetry 追踪数据通过 Zerobus 流入 Unity Catalog

MLflow Tracing 基于 OpenTelemetry 构建。OpenTelemetry 是一项用于收集和导出服务信号的开放标准。追踪记录智能体的执行过程,其中包含名为 span 的独立步骤,包括模型请求和工具调用。Claude 的原生插桩会生成这些 span,并使用 OpenTelemetry Protocol 将其导出。

Databricks 通过 Zerobus Ingest 接收这些 span,并将其存储在关联到 MLflow 实验的 Unity Catalog 表中。开发者可以将 Claude 追踪数据与其他经过插桩的服务的追踪数据一同检查,并使用相同的工具进行调试和评估。Unity Catalog 控制对数据的访问权限,这些数据也可以通过 SQL 查询。Databricks 表示,Zerobus 与 Unity Catalog 相结合,可提供低延迟、高 QPS 的追踪数据摄取能力,并能够管控对智能体追踪数据中敏感信息的访问。

Claude Platform 连接支持智能体调试与评估

要连接 Claude,开发者需在 Databricks 中创建一个实验,并保持选中 Unity Catalog 作为追踪数据存储位置,然后选择现有目录和架构。这会创建关联到存储 OpenTelemetry 追踪数据的 Unity Catalog 表的 MLflow 实验。详细设置指南涵盖权限和 SQL 仓库要求。

要进行原生导出,开发者需使用其工作区 ID、区域和 span 表设置 Databricks 目标位置。Zerobus 连接指南介绍了如何获取表级 OAuth 令牌。原生 OTel 集成涵盖 Anthropic SDK、Messages API 和 Managed Agents。Claude Code 和 Claude Agent SDK 也支持 OpenTelemetry,并可将追踪数据发送到同一目标位置。

运行 Claude 智能体后,开发者可以在实验中打开 Traces,检查模型调用、工具活动、耗时以及捕获的输入和输出。只有当用户选择将内容模式设为“full”时,才会捕获输入和输出。

MLflow 工具分析 Claude 智能体故障和重复问题

MLflow 的 Analyze trace 操作会将 Genie Code 引入对意外回答的调查。它会检查记录的执行过程,并帮助解释问题所在,包括上下文缺失、工具调用失败,或模型如何使用工具结果。开发者可以针对上下文缺失、工具调用失败或耗时较高的步骤提出后续问题,然后决定是否修改指令、改进工具,或更改智能体可用的上下文。

MLflow Issues 目前处于测试版,它使用 Genie Code 来识别反复出现的质量和运营问题。它会检查回答、工具调用、耗时、错误和评估结果,然后将相关发现归类,并附上支持性追踪数据的链接。例如,重复搜索导致代币浪费、缺少参数导致工具调用失败,以及回答不符合要求的格式。

团队可以安排在收到新追踪数据时进行检测,选择运行频率,使用元数据或标签聚焦特定流量,并自定义要查找的问题类型。修复问题后,问题监控器可以跟踪该问题是否再次出现。MLflow 会为该问题创建一个评分器,评估近期追踪数据以建立基线,并对一部分新追踪数据评分,以衡量该问题随时间变化的频率。文章中的演示展示了一个手动编写的问题,该问题描述了重复读取文档的情况,并链接到三条受影响的 Claude 追踪数据;该演示未运行 Issue Detection。

Claude 追踪审查与评估助力改进智能体

MLflow Review Queues 让领域专家使用针对智能体定制的问题审查选定的追踪数据。审查者可以评估记录的请求和回答,说明缺少的内容,并提供预期回答。他们的反馈有助于开发者改进智能体,并为后续评估建立参考答案。

开发者可以对 Claude 追踪数据运行 MLflow Agent Evaluation,以测试对提示、技能或工具的更改是否提升或降低了智能体性能。当原始智能体和修订版智能体针对相同案例运行后,可以使用相同的评审器比较两者的评估运行结果。MLflow UI 的 Compare 功能会并排显示评分和回答,并提供底层追踪数据以解释尚未解决的故障。同样的方法也可用于检查智能体是否遵循了规定的工作流程,或是否使用了合适的工具。

Claude Platform 原生 OpenTelemetry 集成详情

  • Claude Platform 的 OpenTelemetry 目前处于公开测试版。
  • 原生 OTel 导出涵盖 Anthropic SDK、Messages API 和 Managed Agents。
  • Claude Code 和 Claude Agent SDK 也支持 OpenTelemetry。
  • Databricks 通过 Zerobus Ingest 接收 span,并将其存储在关联到 MLflow 实验的 Unity Catalog 表中。
  • Unity Catalog 控制对追踪数据的访问权限,这些数据也可以通过 SQL 查询。
  • 只有当内容模式设为“full”时,才会捕获输入和输出。
  • MLflow Issues 目前处于测试版。
  • MLflow Issues 检测可安排运行、通过元数据或标签进行聚焦,并按问题类型自定义。
  • 问题监控器使用 MLflow 创建的评分器,评估近期追踪数据以建立基线,并对一部分新追踪数据评分,以衡量问题随时间变化的频率。
  • 文章演示中的问题链接到了三条受影响的 Claude 追踪数据,且该演示未运行 Issue Detection。

常见问题

Claude Platform 的原生 OpenTelemetry 集成支持什么?

该集成目前处于公开测试版,支持将 Anthropic SDK、Messages API 和 Managed Agents 的原生追踪数据导出至 Databricks MLflow。Claude Code 和 Claude Agent SDK 也支持 OpenTelemetry。

Databricks 将 Claude OpenTelemetry 追踪数据存储在哪里?

Databricks 通过 Zerobus Ingest 接收 span,并将其存储在关联到 MLflow 实验的 Unity Catalog 表中。Unity Catalog 控制对数据的访问权限,这些数据也可以通过 SQL 查询。

何时会捕获 Claude 追踪数据的输入和输出?

只有当用户选择将内容模式设为“full”时,才会捕获输入和输出。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论