Tencent WorkBuddy 于 11 月 20 日宣布推出电脑控制能力,使 AI 助手能够识别当前页面、理解客户端界面,并独立完成点击、输入、滚动等操作,无需目标软件开放 API。WorkBuddy 可以直接操控电脑上的应用程序,不同于依赖第三方连接器或软件接口的传统 AI 工具。
与传统 AI 工具不同,WorkBuddy 不依赖目标软件提供接口或第三方连接。即使是无法连接第三方服务的旧版客户端应用,也可以通过界面识别进行操作。用户只需在对话框中描述想要使用的应用、操作流程和预期结果,WorkBuddy 就会调用电脑控制能力,自动执行相应操作。
该平台支持在教育管理系统中查询学生信息,或在资产管理系统中填写设备申领表等任务,可完成信息查询、人员选择和表单填写等步骤。WorkBuddy 还支持跨系统操作——即使两个软件应用没有数据接口,也可以通过共同的单据编号关联起来,贯通整个操作流程。例如,用户可以先在仓储系统中查询设备到货信息,再切换到资产系统核对对应设备,并为后续申领登记做好准备。
执行过程中,WorkBuddy 支持后台运行。用户可以通过侧边画中画窗口实时查看操作界面和执行进度,同时在其他应用中处理文档、回复消息,实现人机并行办公。出于安全考虑,腾讯建议用户在涉及登录、授权、付款、提交和删除等敏感操作时保持在场并实时监督。任务完成后,用户可以返回原系统核验操作结果,确保信息准确。
电脑控制能力目前处于公开测试阶段,支持 macOS 和 Windows 系统。用户需要将 WorkBuddy 客户端更新至 5.11.0 或更高版本,并在设置中启用电脑应用控制功能,然后完成相关系统授权。
根据腾讯 2026 年第三季度财报,截至 11 月初,WorkBuddy 日活用户超过 1000 万,日均代币消耗量超过 1 万亿,使其成为中国大语言模型 AI 产品中日均代币消耗量最高的产品。电脑控制能力的推出意味着 WorkBuddy 从信息问答和任务规划进一步扩展到实际软件操作,有望帮助用户打通不同应用之间的工作流程,减少重复操作,提升日常办公效率。
WorkBuddy 电脑控制功能与界面识别
WorkBuddy 的电脑控制能力不受 API 是否可用的影响。系统直接识别软件界面,并执行用户指令要求的操作,无需进行后端集成。用户以对话方式描述需求,平台会将这些描述转化为可在不同应用中执行的步骤。该能力可处理复杂工作流程,包括信息查询、表单填写,以及在没有原生数据连接的系统间执行多步骤操作。
跨系统工作流集成与操作灵活性
WorkBuddy 的一项重要进展是能够执行跨越多个互不连接应用的任务。平台通过共用的单据标识符或参考编号关联操作,让工作流程能够在不同系统间顺畅衔接。用户可以在无需手动在平台间传输数据的情况下,完成仓库库存查询、资产核验和登记准备。后台执行模式支持并行工作——用户可以通过侧边窗口查看进度,同时处理其他任务。这种架构减少了切换上下文的额外耗时,并整合了零散的办公流程。
系统要求与公开测试部署
电脑控制能力要求 WorkBuddy 客户端版本为 5.11.0 或更高版本。该功能支持 macOS 和 Windows 平台。用户必须在客户端设置中启用电脑应用控制功能,并完成系统授权流程。腾讯建议用户在登录、授权、付款、提交数据和删除等敏感操作期间保持直接监督,以确保安全和数据完整性。
关键信息
- WorkBuddy 于 11 月 20 日宣布推出电脑控制能力,支持自动识别界面并执行点击、输入、滚动等操作,无需目标软件提供 API 访问权限
- 该功能支持 macOS 和 Windows 系统
- 启用电脑应用控制功能需使用 5.11.0 或更高版本的客户端,并在设置中开启该功能
- WorkBuddy 支持利用共用单据编号,在缺少原生数据接口的应用之间关联工作流程,实现跨系统操作
- 功能在后台执行,用户可通过侧边画中画窗口实时查看进度,同时处理其他任务
- 截至 11 月初,WorkBuddy 日活用户超过 1000 万,日均代币消耗量超过 1 万亿,使其成为中国大语言模型 AI 产品中日均代币消耗量最高的产品
- 电脑控制能力目前处于公开测试阶段
- 腾讯建议用户在登录、授权、付款、提交和删除等敏感操作期间进行监督
常见问题
WorkBuddy 如何在没有 API 集成的情况下执行电脑操作?
WorkBuddy 使用界面识别技术识别当前页面并理解客户端界面,无需目标软件开放 API 或使用第三方连接器。用户在对话框中描述所需应用、操作流程和预期结果后,WorkBuddy 会自动调用电脑控制能力,直接在软件界面上执行点击、输入和滚动等相应操作。
系统要求是什么?用户如何启用电脑控制功能?
用户必须将 WorkBuddy 客户端更新至 5.11.0 或更高版本,才能使用电脑控制能力。该功能支持 macOS 和 Windows 系统。更新客户端后,用户需要在设置中启用电脑应用控制功能,并完成相关系统授权流程。
WorkBuddy 如何支持跨多个互不连接应用的工作流程?
WorkBuddy 通过共用单据编号或参考编号关联任务,支持跨系统操作,使任务能够在缺少原生数据接口的应用之间继续进行。例如,用户可以在仓储系统中查询设备到货信息,再切换到资产系统核对对应设备,并为后续登记做好准备——整个过程都在一个连贯的工作流程中完成,无需在平台间手动传输数据。