簡述
- Google 為其 Gemini Mac 應用程式推出了電腦操作功能,讓 AI 能在使用者持續工作的同時,點擊操作桌面應用程式與網站。
- 該代理程式在獨立的虛擬螢幕中執行,具備應用程式權限、即時預覽,並會針對敏感操作請求確認。
- Google 警告,惡意內容、過於廣泛的應用程式存取權限,以及不完善的備份,仍可能讓使用者的資料與檔案面臨風險。
Google 希望 Gemini 在您的 Mac 上能做的不只是回答問題。
該公司於週四推出了一項電腦操作功能,讓其 AI 助理能代替使用者開啟應用程式、瀏覽選單、填寫表單,並在本機檔案與網站之間移動資訊。
「從今天起,Mac 版 Gemini 應用程式中的電腦操作功能,能協助您在本機檔案、桌面應用程式與網路上完成多步驟任務,」Google 宣布。「只要描述您的需求,Gemini 就會為您處理點擊、輸入、選單與表單。」
這項新功能在 Google 稱之為隔離背景視窗中運行,讓電腦的主顯示器和游標可供擁有者使用。使用者可以透過 Gemini 聊天中的即時預覽觀看代理的動作,並在任務偏離軌道時中斷它。
Google 的範例包括從 PDF 文件中擷取貨運詳細資訊並將其輸入線上表單、編輯批次照片,以及根據儀表板資料建立簡報。該公司還建議根據儲存在 Mac 上的圖片研究價格並準備轉售刊登資訊。
這些工作涉及與要求聊天機器人撰寫指示不同的一種 AI 互動方式。Gemini 應該自行操作軟體,執行原本會落在使用者身上的點擊和按鍵操作。
可存取您應用程式的背景工作者
此功能正以英文在美國向擁有個人付費 Google 帳戶的成年使用者推出。它需要執行 macOS Sequoia 15.0 或更新版本的 Apple Silicon Mac;推出初期不支援工作與學校帳戶。
若要啟用它,使用者在 Mac 應用程式中啟用電腦使用功能,開啟 Task 模式,並以 @Computer use 提示 Gemini。根據 Google 的支援文件,該助理在控制新應用程式之前會要求許可,並提供拒絕存取、允許一次或持續允許的選項。
使用者可以建立允許與封鎖的應用程式清單、監控虛擬螢幕,並停止任務。Google 表示,敏感操作需要確認後代理程式才會繼續進行,不過標記為「永遠允許」的應用程式可以再次存取,而無需另一個應用程式層級的提示。
比特幣BTC · USD
$59,007−14%
11月13日11月15日11月17日11月19日11月20日
$69.1k$65.7k$62.4k$59.0k
24小時最高最高$63,219
24小時最低最低$58,811
成交量成交量$2.0B
市場預測賠率由 Myriad
使用 USDC 購買 比特幣
由 Jupiter 提供技術支援
電腦操作為 Google 的代理策略增添了本地維度。Decrypt 先前曾報導過 Gemini Spark,這是該公司基於雲端的任務代理,而競爭對手則開發了桌面控制工具,包括 OpenAI 的 Codex、Anthropic 的 Claude,以及 Kimi Work。
獨立視窗也是一項實用的區別:一個會佔用可見游標的代理程式,可能讓電腦在長時間執行任務期間變得難以使用。Google 的做法讓人們可以繼續工作,同時由 Gemini 處理另一個工作流程。
當代理程式出錯時會發生什麼事?
背景視窗不應與檔案或帳戶免於風險的保證混為一談。Google 自家的文件警告,該代理程式可以存取桌面應用程式中的使用中工作階段、遇到顯示在螢幕上的驗證碼,並採取某些應用程式無法復原的動作。
在那種情況下,任何錯誤都是使用者的過錯,而不是 Google 的。
它同時也警告提示注入(prompt injection)的風險,這是一種攻擊手法,攻擊者將惡意指令隱藏在文件或網站中,誘使 AI 系統做出使用者從未要求的事情。由於 Gemini 擁有操作多個應用程式的權限,它可能在一個程式中遇到敵意內容,並在另一個程式中對其採取行動。
Google 提供選用的隨需檔案備份,但表示這些備份並非總能建立。在可建立備份的情況下,這些暫存副本會保留 24 小時或直到下一次提示為止,而某些應用程式可能完全阻止其內容被備份。
此次發布也正好在 Apple 於 macOS 27.3 beta 中推出更嚴格的存取控制三天後。這些變更為使用者提供更多方式,可將強大權限限制於特定應用程式或資料夾,並在每次要求存取時都必須重新核准。
它同時也要求使用者為了便利而放棄大量隱私。其說明中心指出,使用者還必須啟用 macOS 的「輔助使用」以及「螢幕與系統音訊錄製」權限,Gemini 才能控制桌面應用程式。
加入 72,000+ 位讀者







