AWS Device Farm 是一项移动和 Web 应用测试服务,现已推出 Test Insights,这是一项增强型分析功能,可用于在多台设备上运行的 Appium、Espresso 和 XCUITest 测试。该功能旨在通过在单一界面中汇总故障根因分析、堆栈跟踪、测试视频、执行时间以及特定设备的性能指标,帮助开发者和 AI Agent 更快地诊断测试失败。
Test Insights 扩展了 Device Farm 现有的 API,可返回详细的测试元数据、包含完整堆栈跟踪的故障根因信息、每项测试的单独视频录制、每次测试执行的精确开始和结束时间、按设备和测试细分的执行时间中位数和平均值,以及全面的测试结果计数。通过在一处汇总这些诊断数据,开发团队和 AI Agent 可以减少查明测试失败原因所需的时间和 token 消耗;AWS Device Farm 的故障排查技能则利用这些信息诊断失败的测试运行并推荐纠正措施。Test Insights 免费提供,并与 Device Farm 当前生成的所有默认和自定义测试报告一同提供。
Test Insights 的可用性与集成
Test Insights 已在 Device Farm 运营的所有 AWS 区域推出。该功能可与 Device Farm 现有的测试工作流无缝集成,无需额外配置或费用即可启用。开发者可以立即通过 Device Farm 的标准 API 和用户界面使用 Test Insights。
增强的测试自动化诊断能力
该功能汇总了此前分散在不同工具和报告中的多种诊断信号。每次测试执行的视频录制为故障调查提供了直观背景,而堆栈跟踪和根因分析则能准确指出故障位置。执行时间指标(包括执行时长的中位数和平均值)有助于检测性能回归并识别特定设备上的瓶颈。按设备和测试类型汇总的测试结果计数有助于评估整体测试状况,并帮助识别不同设备配置下测试套件的系统性问题。
关键信息
- Test Insights 支持在多台设备上运行的 Appium、Espresso 和 XCUITest 测试框架
- 增强的 API 响应包含测试元数据、带堆栈跟踪的故障根因、测试视频、开始和结束时间、按设备和测试划分的执行时间中位数和平均值,以及按结果划分的测试计数
- 该功能在 Device Farm 可用的所有 AWS 区域均免费提供
- AWS Device Farm 故障排查技能使用 Test Insights 数据诊断失败的运行并提供修复建议
- Test Insights 与默认和自定义测试报告一同提供
常见问题
Test Insights 支持哪些测试框架?
Test Insights 适用于在多台设备上运行的 Appium、Espresso 和 XCUITest 测试。该功能可与 Device Farm 现有的测试执行基础设施集成,无需针对特定框架更改配置。
Test Insights 提供哪些诊断信息?
Test Insights 提供增强的测试元数据、带堆栈跟踪的故障根因分析、每项测试的单独视频、每项测试的精确开始和结束时间、按设备和测试细分的执行时间中位数和平均值,以及汇总的测试结果计数。所有这些信息都汇总在一个界面中,可通过 Device Farm 的 API 和用户界面访问。
使用 Test Insights 是否需要额外付费?
使用 Test Insights 无需额外付费。该功能在 Device Farm 可用的所有 AWS 区域均免费提供,并可与您生成的任何默认和自定义测试报告一同使用。