簡述

  • Google 為其 Gemini Mac 應用程式推出了電腦操作功能,讓 AI 能在使用者持續工作的同時,點擊操作桌面應用程式與網站。
  • 該代理程式在獨立的虛擬螢幕中執行,具備應用程式權限、即時預覽,並會針對敏感操作請求確認。
  • Google 警告,惡意內容、過於廣泛的應用程式存取權限,以及不完善的備份,仍可能讓使用者的資料與檔案面臨風險。

Google 希望 Gemini 在您的 Mac 上能做的不只是回答問題。

該公司於週四推出了一項電腦操作功能,讓其 AI 助理能代替使用者開啟應用程式、瀏覽選單、填寫表單,並在本機檔案與網站之間移動資訊。

「從今天起,Mac 版 Gemini 應用程式中的電腦操作功能,能協助您在本機檔案、桌面應用程式與網路上完成多步驟任務,」Google 宣布。「只要描述您的需求,Gemini 就會為您處理點擊、輸入、選單與表單。」

新$0.00成交量
12月1日收盤:2026年12月1日 04:59 UTC

收盤:2026年12月1日 04:59 UTC

這項新功能在 Google 稱之為隔離背景視窗中運行,讓電腦的主顯示器和游標可供擁有者使用。使用者可以透過 Gemini 聊天中的即時預覽觀看代理的動作,並在任務偏離軌道時中斷它。

Google 的範例包括從 PDF 文件中擷取貨運詳細資訊並將其輸入線上表單、編輯批次照片,以及根據儀表板資料建立簡報。該公司還建議根據儲存在 Mac 上的圖片研究價格並準備轉售刊登資訊。

這些工作涉及與要求聊天機器人撰寫指示不同的一種 AI 互動方式。Gemini 應該自行操作軟體,執行原本會落在使用者身上的點擊和按鍵操作。

可存取您應用程式的背景工作者

此功能正以英文在美國向擁有個人付費 Google 帳戶的成年使用者推出。它需要執行 macOS Sequoia 15.0 或更新版本的 Apple Silicon Mac;推出初期不支援工作與學校帳戶。

若要啟用它,使用者在 Mac 應用程式中啟用電腦使用功能,開啟 Task 模式,並以 @Computer use 提示 Gemini。根據 Google 的支援文件,該助理在控制新應用程式之前會要求許可,並提供拒絕存取、允許一次或持續允許的選項。

使用者可以建立允許與封鎖的應用程式清單、監控虛擬螢幕,並停止任務。Google 表示,敏感操作需要確認後代理程式才會繼續進行,不過標記為「永遠允許」的應用程式可以再次存取,而無需另一個應用程式層級的提示。

比特幣BTC · USD

$59,007−14%

11月13日11月15日11月17日11月19日11月20日

$69.1k$65.7k$62.4k$59.0k

24小時最高最高$63,219

24小時最低最低$58,811

成交量成交量$2.0B

→

使用 USDC 購買 比特幣

由 Jupiter 提供技術支援

價格數據由 CoinGecko 提供CoinGecko更多 比特幣 新聞與預測 →

電腦操作為 Google 的代理策略增添了本地維度。Decrypt 先前曾報導過 Gemini Spark,這是該公司基於雲端的任務代理,而競爭對手則開發了桌面控制工具,包括 OpenAI 的 Codex、Anthropic 的 Claude,以及 Kimi Work。

獨立視窗也是一項實用的區別:一個會佔用可見游標的代理程式,可能讓電腦在長時間執行任務期間變得難以使用。Google 的做法讓人們可以繼續工作,同時由 Gemini 處理另一個工作流程。

當代理程式出錯時會發生什麼事?

背景視窗不應與檔案或帳戶免於風險的保證混為一談。Google 自家的文件警告,該代理程式可以存取桌面應用程式中的使用中工作階段、遇到顯示在螢幕上的驗證碼,並採取某些應用程式無法復原的動作。

在那種情況下,任何錯誤都是使用者的過錯,而不是 Google 的。

它同時也警告提示注入(prompt injection)的風險,這是一種攻擊手法,攻擊者將惡意指令隱藏在文件或網站中,誘使 AI 系統做出使用者從未要求的事情。由於 Gemini 擁有操作多個應用程式的權限,它可能在一個程式中遇到敵意內容,並在另一個程式中對其採取行動。

Google 提供選用的隨需檔案備份,但表示這些備份並非總能建立。在可建立備份的情況下,這些暫存副本會保留 24 小時或直到下一次提示為止,而某些應用程式可能完全阻止其內容被備份。

此次發布也正好在 Apple 於 macOS 27.3 beta 中推出更嚴格的存取控制三天後。這些變更為使用者提供更多方式,可將強大權限限制於特定應用程式或資料夾,並在每次要求存取時都必須重新核准。

它同時也要求使用者為了便利而放棄大量隱私。其說明中心指出,使用者還必須啟用 macOS 的「輔助使用」以及「螢幕與系統音訊錄製」權限,Gemini 才能控制桌面應用程式。

加入 72,000+ 位讀者