En bref
- Google a lancé l'utilisation de l'ordinateur pour son application Gemini sur Mac, permettant à l'IA de cliquer à travers les applications de bureau et les sites web pendant que les utilisateurs continuent de travailler.
- L'agent s'exécute dans un écran virtuel séparé, avec des autorisations d'application, des aperçus en direct et des demandes de confirmation pour les actions sensibles.
- Google avertit que le contenu malveillant, l'accès étendu aux applications et des sauvegardes imparfaites peuvent encore mettre en danger les données et les fichiers des utilisateurs.
Google veut que Gemini fasse plus que répondre à des questions sur votre Mac.
L'entreprise a lancé jeudi une fonctionnalité d'utilisation de l'ordinateur qui permet à son assistant IA d'ouvrir des applications, de naviguer dans les menus, de remplir des formulaires et de déplacer des informations entre les fichiers locaux et les sites web au nom d'un utilisateur.
« À partir d'aujourd'hui, l'utilisation de l'ordinateur dans l'application Gemini pour Mac vous aide à accomplir des tâches à plusieurs étapes sur vos fichiers locaux, vos applications de bureau et le web », a annoncé Google. « Décrivez simplement ce dont vous avez besoin, et Gemini se charge des clics, de la saisie, des menus et des formulaires pour vous. »
La nouvelle fonctionnalité s'exécute dans ce que Google appelle une fenêtre d'arrière-plan isolée, laissant l'écran principal et le curseur de l'ordinateur disponibles pour son propriétaire. Les utilisateurs peuvent suivre les actions de l'agent grâce à un aperçu en direct dans le chat Gemini et interrompre une tâche si elle dévie de sa trajectoire.
Les exemples de Google incluent l'extraction de détails d'expédition à partir de documents PDF et leur saisie dans des formulaires en ligne, la modification de lots de photos et la création de présentations à partir de données de tableaux de bord. L'entreprise suggère également de rechercher des prix et de préparer des annonces de revente à partir d'images stockées sur un Mac.
Ces tâches impliquent un type d'interaction avec l'IA différent de celui consistant à demander à un chatbot de rédiger des instructions. Gemini est censé faire fonctionner le logiciel lui-même, en effectuant les clics et les frappes au clavier qui incomberaient autrement à l'utilisateur.
Un agent en arrière-plan ayant accès à vos applications
La fonctionnalité est déployée en anglais aux États-Unis auprès des utilisateurs adultes disposant de comptes Google personnels payants. Elle nécessite un Mac Apple Silicon exécutant macOS Sequoia 15.0 ou une version ultérieure ; les comptes professionnels et scolaires ne sont pas pris en charge au lancement.
Pour l'activer, les utilisateurs activent l'utilisation de l'ordinateur dans l'application Mac, ouvrent le mode Tâche et sollicitent Gemini avec @Computer use. Selon la documentation d'assistance de Google, l'assistant demande l'autorisation avant de contrôler une nouvelle application, avec des options pour refuser l'accès, l'autoriser une fois ou l'autoriser de manière continue.
Les utilisateurs peuvent créer des listes d'applications autorisées et bloquées, surveiller l'écran virtuel et arrêter une tâche. Google indique que les actions sensibles nécessitent une confirmation avant que l'agent ne poursuive, bien qu'une application marquée « toujours autoriser » puisse être consultée à nouveau sans nouvelle invite au niveau de l'application.
BitcoinBTC · USD
59 007 $−14%
13 nov.15 nov.17 nov.19 nov.20 nov.
69,1 k$65,7 k$62,4 k$59,0 k$
Haut 24 hHaut63 219 $
Bas 24 hBas58 811 $
VolVol2,0 Md$
Projections du marchéCotes par Myriad
Aujourd'huiSous 60 000 $Sous 60 k$72% de chanceCette semaineSous 60 000 $Sous 60 k$72% de chance
Acheter Bitcoin avec USDC
Propulsé par Jupiter
L'utilisation de l'ordinateur ajoute une dimension locale à la stratégie d'agents de Google. Decrypt a précédemment couvert Gemini Spark, l'agent de tâches basé sur le cloud de l'entreprise, tandis que des concurrents ont développé des outils de contrôle de bureau, notamment Codex d'OpenAI, Claude d'Anthropic et Kimi Work.
La fenêtre séparée constitue également une distinction pratique : un agent qui s'approprie le curseur visible peut rendre un ordinateur difficile à utiliser pendant une longue tâche. L'approche de Google permet à la personne de continuer à travailler pendant que Gemini gère un autre flux de travail.
Que se passe-t-il lorsque l'agent commet une erreur ?
Une fenêtre en arrière-plan ne doit pas être confondue avec une garantie que les fichiers ou les comptes sont à l'abri des risques. La documentation de Google elle-même avertit que l'agent peut accéder aux sessions actives dans les applications de bureau, rencontrer des codes d'authentification affichés à l'écran et effectuer des actions que certaines applications ne peuvent pas annuler.
Dans ce cas, toute erreur est de la faute de l'utilisateur, pas de Google.
Elle met également en garde contre l'injection de prompt, une attaque dans laquelle des instructions malveillantes cachées dans un document ou un site web persuadent un système d'IA de faire quelque chose que son utilisateur n'a jamais demandé. Avec l'autorisation d'opérer sur plusieurs applications, Gemini pourrait rencontrer du contenu hostile dans un programme et agir en conséquence dans un autre.
Google propose des sauvegardes de fichiers facultatives à la demande, mais indique qu'elles ne peuvent pas toujours être créées. Là où elles fonctionnent, les copies temporaires restent disponibles pendant 24 heures ou jusqu'au prochain prompt, et certaines applications peuvent empêcher totalement la sauvegarde de leur contenu.
Le lancement intervient également trois jours après qu'Apple a introduit des contrôles d'accès plus stricts dans la version bêta de macOS 27.3. Ces changements offrent aux utilisateurs davantage de moyens de restreindre les autorisations puissantes à des applications ou des dossiers spécifiques et d'exiger une nouvelle approbation à chaque demande d'accès.
Cela exige également des utilisateurs qu'ils renoncent à une grande partie de leur vie privée en échange de la commodité. Son centre d'aide indique que les utilisateurs doivent également activer les autorisations d'Accessibilité de macOS et d'Enregistrement de l'écran et de l'audio du système avant que Gemini puisse prendre le contrôle des applications de bureau.
Rejoignez plus de 72 000 lecteurs







