OpenAI 产品与工程负责人 Ari Weinstein 和 James Sun 在 2026 年 10 月 26 日发布的 The a16z Show 播客中表示,尽管 AI Agent 能够自主操作软件,用户界面仍将发挥作用。这两位负责 OpenAI Computer Use 项目的高管表示,人们更喜欢直接与软件交互,即使机器能够执行点击操作,这种偏好依然存在。根据播客讨论,截至 2026 年 10 月 26 日,OpenAI 的计算机操作 Agent 操作软件时,比普通用户更可靠、速度也更快。
OpenAI Agent 使用四种技术方法操作软件
OpenAI 开发的计算机操作 Agent(CUA)通过读取屏幕、浏览菜单、填写字段和完成任务来操作软件。根据播客讨论,这些 Agent 在可靠性、速度和自主性三个方面均有所提升。
这些系统采用四种技术方法来完成工作。屏幕截图让 Agent 能像人类一样查看屏幕。无障碍树为屏幕元素提供结构化表示,最初是为辅助工具设计的。DOM 访问让 Agent 能够查看网页结构。生成代码则让 Agent 能够编写小程序,在这种方式比手动点击更快时使用。
Weinstein 和 Sun 领导 OpenAI Computer Use 开发工作
Ari Weinstein 担任 OpenAI Computer Use 项目的产品与工程负责人。加入 OpenAI 之前,他联合创立了 Sky,该产品由 Software.inc 开发。
James Sun 在 OpenAI 负责企业浏览器和 Agent 开发。他创立自己的初创公司后加入了 OpenAI。
这场播客讨论延续了 OpenAI 于 2026 年 9 月 DevDay 上发布的公告。该活动介绍了 Dots、Agents API,以及异步工具调用计划。
Agents API 助力集成旧系统
Agents API 让计算机操作 Agent 能够使用缺少传统 API 的旧系统。API 为程序之间提供官方通信接口。较旧的商业软件通常缺少这类接口。
像人类一样操作屏幕的 Agent 无需依赖传统 API。这项能力解决了企业环境中长期存在的一项自动化难题。
金融和采购是 Agent 部署的重点领域
OpenAI 的研究将金融和采购确定为 Agent 能够在复杂传统软件环境中开展工作的领域。该公司同时推进面向消费者的产品(如 Dots)和企业应用。
Weinstein 和 Sun 表示,用户界面设计会随着 Agent 的发展不断演进。两位发言者指出,人类的偏好与 Agent 的能力将并存,而不是一方取代另一方。
常见问题
OpenAI 高管在 2026 年 10 月 26 日对用户界面有何看法?
Ari Weinstein 和 James Sun 在 The a16z Show 播客中表示,用户界面仍将发挥作用,因为人们更喜欢直接与软件交互,即便 AI Agent 能够自主操作软件。
OpenAI 的计算机操作 Agent 使用哪些技术方法?
OpenAI 的 Agent 使用四种技术方法:通过屏幕截图查看屏幕、通过无障碍树提供屏幕元素的结构化表示、通过 DOM 访问了解网页结构,以及在需要时通过生成代码编写小程序。
OpenAI 在 2026 年 9 月的 DevDay 上发布了什么?
OpenAI 在 2026 年 9 月的 DevDay 活动上发布了 Dots、用于操作旧系统的 Agents API,以及异步工具调用计划。