OpenAI 高管称,尽管 AI Agent 能力不断增强,用户界面仍将继续存在

SKY+0.10%

关键要点

  • Ari Weinstein 和 James Sun 在 The a16z Show 播客节目中(2026 年 10 月 26 日)表示,尽管 AI Agent 能够自主操作软件,用户界面仍将发挥重要作用。
  • 根据播客讨论,OpenAI 的计算机操作 Agent 通过四种技术方法与软件交互:屏幕截图、无障碍树、DOM 访问和生成代码。
  • OpenAI 在 2026 年 9 月的 DevDay 上宣布推出 Dots(一款支持与旧系统集成的 Agents API),并公布了异步工具调用计划。

OpenAI 产品与工程负责人 Ari Weinstein 和 James Sun 在 2026 年 10 月 26 日发布的 The a16z Show 播客中表示,尽管 AI Agent 能够自主操作软件,用户界面仍将发挥作用。这两位负责 OpenAI Computer Use 项目的高管表示,人们更喜欢直接与软件交互,即使机器能够执行点击操作,这种偏好依然存在。根据播客讨论,截至 2026 年 10 月 26 日,OpenAI 的计算机操作 Agent 操作软件时,比普通用户更可靠、速度也更快。

OpenAI Agent 使用四种技术方法操作软件

OpenAI 开发的计算机操作 Agent(CUA)通过读取屏幕、浏览菜单、填写字段和完成任务来操作软件。根据播客讨论,这些 Agent 在可靠性、速度和自主性三个方面均有所提升。

这些系统采用四种技术方法来完成工作。屏幕截图让 Agent 能像人类一样查看屏幕。无障碍树为屏幕元素提供结构化表示,最初是为辅助工具设计的。DOM 访问让 Agent 能够查看网页结构。生成代码则让 Agent 能够编写小程序,在这种方式比手动点击更快时使用。

Weinstein 和 Sun 领导 OpenAI Computer Use 开发工作

Ari Weinstein 担任 OpenAI Computer Use 项目的产品与工程负责人。加入 OpenAI 之前,他联合创立了 Sky,该产品由 Software.inc 开发。

James Sun 在 OpenAI 负责企业浏览器和 Agent 开发。他创立自己的初创公司后加入了 OpenAI。

这场播客讨论延续了 OpenAI 于 2026 年 9 月 DevDay 上发布的公告。该活动介绍了 Dots、Agents API,以及异步工具调用计划。

Agents API 助力集成旧系统

Agents API 让计算机操作 Agent 能够使用缺少传统 API 的旧系统。API 为程序之间提供官方通信接口。较旧的商业软件通常缺少这类接口。

像人类一样操作屏幕的 Agent 无需依赖传统 API。这项能力解决了企业环境中长期存在的一项自动化难题。

金融和采购是 Agent 部署的重点领域

OpenAI 的研究将金融和采购确定为 Agent 能够在复杂传统软件环境中开展工作的领域。该公司同时推进面向消费者的产品(如 Dots)和企业应用。

Weinstein 和 Sun 表示,用户界面设计会随着 Agent 的发展不断演进。两位发言者指出,人类的偏好与 Agent 的能力将并存,而不是一方取代另一方。

常见问题

OpenAI 高管在 2026 年 10 月 26 日对用户界面有何看法? Ari Weinstein 和 James Sun 在 The a16z Show 播客中表示,用户界面仍将发挥作用,因为人们更喜欢直接与软件交互,即便 AI Agent 能够自主操作软件。

OpenAI 的计算机操作 Agent 使用哪些技术方法? OpenAI 的 Agent 使用四种技术方法:通过屏幕截图查看屏幕、通过无障碍树提供屏幕元素的结构化表示、通过 DOM 访问了解网页结构,以及在需要时通过生成代码编写小程序。

OpenAI 在 2026 年 9 月的 DevDay 上发布了什么? OpenAI 在 2026 年 9 月的 DevDay 活动上发布了 Dots、用于操作旧系统的 Agents API,以及异步工具调用计划。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论