简要概述
- 谷歌为其 Gemini Mac 应用推出了计算机使用功能,允许 AI 在用户继续工作的同时点击操作桌面应用程序和网站。
- 该智能体在独立的虚拟屏幕中运行,具备应用权限、实时预览,并会在执行敏感操作时请求确认。
- 谷歌警告称,恶意内容、过宽的应用访问权限以及不完善的备份仍可能使用户数据和文件面临风险。
谷歌希望 Gemini 在你的 Mac 上做的不仅仅是回答问题。
该公司于周四推出了一项计算机使用功能,让其 AI 助手能够代表用户打开应用程序、浏览菜单、填写表单,并在本地文件和网站之间移动信息。
“从今天开始,Mac 版 Gemini 应用中的计算机使用功能可帮助你在本地文件、桌面应用和网络上完成多步骤任务,”谷歌宣布称。“只需描述你的需求,Gemini 就会为你处理点击、输入、菜单和表单。”
这项新功能在谷歌所谓的隔离后台窗口中运行,使电脑的主显示屏和光标可供所有者使用。用户可以通过 Gemini 聊天中的实时预览观看智能体的操作,并在任务偏离正轨时中断任务。
谷歌给出的示例包括从 PDF 文档中提取物流详情并填入在线表单、批量编辑照片,以及根据仪表盘数据制作演示文稿。该公司还建议根据 Mac 上存储的图片研究价格并准备转售商品信息。
这些任务涉及与要求聊天机器人编写指令不同的一种 AI 交互方式。Gemini 应当自行操作软件,执行原本由用户完成的点击和按键操作。
一个可访问你应用的后台工作者
该功能正以英语在美国向拥有个人付费 Google 账户的成年用户推出。它需要运行 macOS Sequoia 15.0 或更高版本的 Apple Silicon Mac;发布之初不支持工作账户和学校账户。
要启用该功能,用户需在 Mac 应用中开启计算机使用功能,打开任务模式,并通过 @Computer use 向 Gemini 发出提示。根据谷歌的支持文档,该助手在控制新应用前会请求许可,并提供拒绝访问、允许一次或持续允许的选项。
用户可以创建允许和阻止的应用列表、监控虚拟屏幕并停止任务。谷歌表示,敏感操作需要确认后代理才会继续执行,不过被标记为“始终允许”的应用可以在没有再次弹出应用级提示的情况下被再次访问。
比特币BTC · 美元
$59,007−14%
11月13日11月15日11月17日11月19日11月20日
$69.1k$65.7k$62.4k$59.0k
24小时最高最高$63,219
24小时最低最低$58,811
成交量成交量$2.0B
市场预测赔率来自 Myriad
用 USDC 购买 比特币
由 Jupiter 提供支持
计算机使用为谷歌的智能体战略增加了一个本地维度。Decrypt 此前曾报道过 Gemini Spark,这是该公司基于云的任务智能体,而竞争对手则开发了桌面控制工具,包括 OpenAI 的 Codex、Anthropic 的 Claude 以及 Kimi Work。
独立的窗口也是一种实用的区分:一个抢占可见光标的智能体可能会让电脑在长时间任务期间变得难以使用。谷歌的做法让人可以继续工作,而 Gemini 则处理另一个工作流程。
当智能体出错时会发生什么?
后台窗口不应与文件或账户免受风险这一保证相混淆。谷歌自己的文档警告说,该智能体可以访问桌面应用程序中的活动会话,遇到屏幕上显示的身份验证码,并采取某些应用无法撤销的操作。
在这种情况下,任何错误都是用户的过错,而不是谷歌的。
它还警告了提示注入,这是一种攻击,其中隐藏在文档或网站中的恶意指令说服 AI 系统去做用户从未要求的事情。凭借操作多个应用的权限,Gemini 可能在一个程序中遇到恶意内容,并在另一个程序中对其采取行动。
谷歌提供可选的按需文件备份,但表示这些备份并非总能创建。在它们有效的地方,临时副本会保留 24 小时或直到下一次提示,而某些应用程序可能完全阻止其内容被备份。
此次发布也是在苹果在 macOS 27.3 测试版中引入更严格的访问控制三天后进行的。这些变化为用户提供了更多方式,将强大的权限限制到特定应用或文件夹,并要求每次请求访问时都重新批准。
它还要求用户为了便利而放弃大量隐私。其帮助中心表示,用户还必须启用 macOS 辅助功能和屏幕与系统音频录制权限,Gemini 才能控制桌面应用。
加入 72,000+ 位读者







