根据 Beating 于 8 月 11 日监测的 Composio 测试结果,DeepSeek V4 Flash 在 8 种 AI Agent 框架的测试环境中取得了不同的成功率。该测试涵盖 Gmail、GitHub、Slack、Calendar 和 Notion 上的 30 项相同任务。
Pi Agent 以完成 20 项任务的成绩领先,其次是 Oh My Pi(17/30)和 Claude Code(16/30)。不过,Pi Agent 也被证明是最具成本效益的方案,每项成功完成的任务成本约为 0.028 美元,而 Claude Code 为 0.195 美元,接近前者的 7 倍。Claude Code 的中位执行时间最快,为 122.7 秒;Oh My Pi 最慢,为 272.4 秒。