谷歌为 Mac 推出 Gemini 电脑操控功能,支持 AI 应用控制

GOOGL-2.50%
AAPL-1.83%

关键要点

  • 谷歌于周四为 Gemini Mac 推出了计算机操控功能,使 AI 助手能够控制桌面应用程序、浏览菜单并自动执行多步骤工作流。
  • 根据谷歌的文档,该功能要求使用搭载 Apple 芯片且运行 macOS Sequoia 15.0 或更高版本的 Mac,并且仅适用于美国境内讲英语地区的个人付费账户。
  • 谷歌警告用户,使用计算机操控功能可能面临提示词注入攻击、导致应用执行不可逆操作,以及在操作过程中泄露屏幕上显示的身份验证代码等风险。

谷歌于周四为其 Gemini Mac 应用推出电脑操作功能,使 AI 助手能够代表用户控制桌面应用和网站。该功能可让 Gemini 打开应用、浏览菜单、填写表单,并在本地文件和网络平台之间传输信息,同时用户可以继续在主显示屏上工作。谷歌设计这项功能旨在处理多步骤任务,例如从 PDF 中提取配送详情、批量编辑照片,以及根据仪表板数据制作演示文稿。该公司推出这项功能,是为了帮助用户自动处理传统上需要手动点击和输入的重复工作流程。这项发布让 Gemini 成为能够直接操作软件的主动代理,而不再只是提供文本指令;不过,谷歌警告称,恶意内容、广泛的应用访问权限以及不完善的备份系统都可能让用户数据面临风险。

Gemini 在隔离的后台窗口中运行,并提供实时预览

这项电脑操作功能在谷歌所称的隔离后台窗口中运行,让电脑的主显示屏和光标继续由用户掌控。用户可以通过 Gemini 聊天界面中的实时预览查看代理的操作,并在任务偏离方向时中断操作。谷歌给出的示例包括从 PDF 文档中提取配送详情并将其填入在线表单、批量编辑照片,以及根据仪表板数据制作演示文稿。该公司还建议,用户可以研究价格,并根据 Mac 上存储的图片准备转售商品列表。根据谷歌的支持文档,助手在控制新应用前会征求许可,用户可以选择拒绝访问、允许一次或持续允许。用户可以创建允许和阻止的应用列表、监控虚拟屏幕,并停止任务。

该功能需要 Apple Silicon Mac 和个人付费账户

这项功能正以英语向美国境内拥有个人付费谷歌账户的成年用户推出。它要求使用运行 macOS Sequoia 15.0 或更高版本的 Apple Silicon Mac;推出时不支持工作和学校账户。要启用该功能,用户需在 Mac 应用中开启电脑操作功能,打开 Task 模式,并提示 Gemini 执行 @Computer 操作。谷歌表示,代理执行敏感操作前需要获得确认;不过,标记为“始终允许”的应用无需再次经过应用级提示即可再次访问。

谷歌警告提示注入和不可逆操作风险

谷歌的文档警告称,代理可能访问桌面应用中的活动会话、遇到屏幕上显示的身份验证代码,并执行某些应用无法撤销的操作。该公司还警告了提示注入风险:恶意指令隐藏在文档或网站中,诱使 AI 系统执行用户从未要求的操作。获得操作多个应用的权限后,Gemini 可能会在一个程序中遇到恶意内容,并在另一个程序中据此采取行动。谷歌提供可选的按需文件备份,但表示并非总能创建备份。如果备份成功,临时副本会保留 24 小时或直到用户发出下一个提示;某些应用也可能完全阻止其内容被备份。

用户必须启用辅助功能和屏幕录制权限

用户必须启用 macOS 辅助功能以及屏幕与系统音频录制权限,Gemini 才能控制桌面应用。这项功能在苹果于 macOS 27.3 测试版中推出更严格的访问控制措施三天后发布。这些调整为用户提供了更多方式,可将强大的权限限制在特定应用或文件夹,并要求每次请求访问时都重新批准。

常见问题

谷歌周四为其 Gemini Mac 应用推出了什么? 谷歌于周四为其 Gemini Mac 应用推出电脑操作功能,让 AI 助手能够代表用户控制桌面应用和网站。该功能可让 Gemini 打开应用、浏览菜单、填写表单,并在本地文件和网络平台之间传输信息,同时用户可以继续在主显示屏上工作。

Gemini 电脑操作功能有哪些系统要求? 该功能要求使用运行 macOS Sequoia 15.0 或更高版本的 Apple Silicon Mac。它以英语向美国境内拥有个人付费谷歌账户的成年用户开放。推出时不支持工作和学校账户。用户还必须启用 macOS 辅助功能以及屏幕与系统音频录制权限,Gemini 才能控制桌面应用。

谷歌警告称,电脑操作功能有哪些风险? 谷歌警告称,代理可能访问桌面应用中的活动会话、遇到屏幕上显示的身份验证代码,并执行某些应用无法撤销的操作。该公司还警告提示注入攻击:恶意指令隐藏在文档或网站中,诱使 AI 系统执行用户从未要求的操作。谷歌提供可选的按需文件备份,但表示并非总能创建备份,而且某些应用可能完全阻止其内容被备份。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论