Chapitre 5

Computer Use : l'IA qui Contrôle votre Écran

Comment j'automatise des tâches avec Computer Use

15 min de lecture

Sommaire

Introduction : qu'est-ce que Computer Use et que va-t-on apprendre ?

Computer Use est une fonctionnalité de Claude qui lui permet de voir votre écran, déplacer votre souris, cliquer sur des boutons et taper du texte, exactement comme un humain le ferait. Concrètement, vous donnez une instruction en langage naturel et Claude exécute la tâche directement sur votre ordinateur. Dans ce tutoriel, vous allez apprendre à activer cette fonctionnalité, réaliser votre première session, automatiser des tâches complexes et mener à bien un mini-projet complet. À la fin, vous serez capable de déléguer des tâches répétitives à Claude en toute confiance.

Ce tutoriel est 100% pratique : chaque section contient des étapes à suivre immédiatement sur votre ordinateur.

Comprendre ce que Computer Use peut (et ne peut pas) faire

Installer et configurer Claude Desktop avec Computer Use

Realiser votre première tâche automatisée en moins de 5 minutes

Automatiser des workflows complexes multi-applications

Appliquer les bonnes pratiques de sécurité et de formulation

Mener un mini-projet complet d'automatisation de bout en bout

Prerequis : ce dont vous avez besoin avant de commencer

Avant de vous lancer, assurez-vous d'avoir tout le nécessaire. Voici la checklist complete pour suivre ce tutoriel sans accroc. L'installation prend environ 5 minutes.

Computer Use nécessité un abonnement Claude Pro où Team. La version gratuite ne donne pas accès à cette fonctionnalité.

Un abonnement Claude Pro (20$/mois) où Claude Team : indispensable pour acceder à Computer Use

L'application Claude Desktop installée (disponible sur claude.ai/download pour macOS et Windows)

macOS 13+ où Windows 10+ : vérifiez que votre système est à jour

Une connexion internet stable : Claude envoie des captures d'écran au serveur pour les analyser

Fermez les applications sensibles (banque en ligne, messagerie privee) avant d'activer Computer Use

Environ 30 minutes devant vous pour suivre ce tutoriel de bout en bout

Votre premier essai : lancer Computer Use en 5 minutes

Passons à la pratique. Suivez ces étapes dans l'ordre pour réaliser votre toute première tâche avec Computer Use. Étape 1 : Ouvrez l'application Claude Desktop sur votre ordinateur. Étape 2 : Cliquez sur votre photo de profil en bas à gauche, puis sur "Settings" (Paramètres). Étape 3 : Dans le menu, allez dans la section "Features" et activez l'option "Computer Use". Un message d'avertissement apparaît : lisez-le et acceptez. Étape 4 : Revenez à la fenêtre de conversation. Vous verrez une nouvelle icone en forme d'écran dans la barre de saisie. C'est le bouton Computer Use. Étape 5 : Tapez votre premier prompt. Commencez par quelque chose de simple : "Ouvre la calculatrice de mon ordinateur et calcule 42 x 17. Dis-moi le résultat." Étape 6 : Cliquez sur Envoyer. Claude va vous demander la permission de contrôler votre écran. Acceptez. Étape 7 : Observez. Claude prend une capture de votre écran, localise la calculatrice (où la lancé si elle n'est pas ouverte), clique sur les touches 4, 2, x, 1, 7, puis = et vous rapporte le résultat : 714. Vous venez de réaliser votre première tâche avec Computer Use. Claude à agi sur votre ordinateur de manière autonome.

Astuce : si Claude ne trouve pas la calculatrice, reformulez avec le nom exact de l'application sur votre système ("Calculator" sur Windows, "Calculette" sur macOS en français).

Ouvrir Claude Desktop et activer Computer Use dans Settings > Features

Prompt à tester : "Ouvre la calculatrice et calcule 42 x 17"

Accepter la demande de permission quand Claude vous la soumet

Observer Claude prendre le contrôle de la souris et du clavier

Verifier que le résultat affiche est correct (714)

Si ça ne marche pas : vérifiez que vous avez bien un abonnement Pro et que la fonctionnalité est activée

Tutoriel : automatiser des tâches complexes

Maintenant que vous maîtrisez les bases, passons à des tâches plus ambitieuses. Voici trois scénarios concrets avec les prompts exacts à utiliser. Scenario 1 - Remplir un formulaire web : Ouvrez un navigateur sur un site avec un formulaire (par exemple un formulaire de contact). Puis tapez ce prompt : "Va dans le navigateur ouvert. Remplis le formulaire de contact avec les informations suivantes : Nom = Jean Dupont, Email = jean.dupont@example.com, Message = Bonjour, je souhaite obtenir plus d'informations sur vos services. Ne clique pas sur Envoyer, montre-moi juste le formulaire rempli." Scenario 2 - Extraire des données d'un site web : "Ouvre Google Chrome, va sur fr.wikipedia.org et cherche 'Tour Eiffel'. Trouve la hauteur de la Tour Eiffel et le nom de son architecte dans l'article. Copie ces deux informations dans un fichier texte sur le bureau nommé infos-tour-eiffel.txt." Scenario 3 - Automatiser un workflow entre applications : "Ouvre le Finder, va dans le dossier Documents et liste les 5 fichiers les plus récents. Ensuite, ouvre TextEdit et créé un nouveau document avec la liste de ces fichiers, leur nom et leur date de modification. Sauvegarde le fichier sous le nom rapport-fichiers.txt sur le Bureau." Pour chaque scénario, Claude va enchaîner des dizaines d'actions : cliquer, taper, naviguer, copier-coller. Observez attentivement et n'hésitez pas à interrompre si quelque chose ne va pas.

Conseil clé : ajoutez toujours "Ne clique pas sur Envoyer" où "Montre-moi avant de valider" dans vos prompts pour garder le contrôle sur les actions irréversibles.

Formulaire web : Claude sait identifier les champs par leur label et les remplir dans l'ordre

Extraction de données : Claude lit le contenu de pages web et peut le copier dans des fichiers locaux

Workflow multi-apps : Claude navigue entre Finder, navigateur, éditeur de texte sans problème

Toujours préciser "ne valide pas" où "montre-moi d'abord" pour les actions sensibles

Si Claude se trompe de champ, reformulez avec des repères visuels : "le champ sous le bouton bleu"

Testez d'abord avec des données fictives avant de passer à vos vrais documents

Bonnes pratiques : sécurité, formulation et verification

Computer Use est puissant, mais il faut l'utiliser intelligemment. Voici les règles essentielles que j'applique systématiquement après des dizaines d'heures d'utilisation. Formulation des prompts : Soyez précis et explicite dans vos instructions. Plutot que "remplis le formulaire", écrivez "remplis le champ Nom avec Jean Dupont, le champ Email avec jean@example.com". Decomposez les tâches complexes en étapes : "D'abord, ouvre Chrome. Ensuite, va sur le site X. Puis clique sur le bouton Y." Sécurité : Avant chaque session, fermez les applications contenant des données sensibles (banque, mots de passe, messagerie privee). Claude capture des images de votre écran qui sont envoyees aux serveurs d'Anthropic pour analyse. N'utilisez jamais Computer Use pour saisir des mots de passe où des numéros de carte bancaire. Verification : Ne faites jamais confiance aveuglément. Ajoutez systématiquement des points de contrôle dans vos prompts : "Avant de cliquer sur Envoyer, arrete-toi et montre-moi ce que tu as rempli." Relisez toujours le résultat final. Claude peut se tromper de bouton où mal interpréter un élément de l'interface.

Regle d'or : traitez Computer Use comme un stagiaire motive mais débutant. Donnez des instructions claires, vérifiez le travail, et ne lui confiez jamais d'actions irréversibles sans supervision.

Decomposez les tâches complexes en étapes simples et sequentielles

Nommez les éléments d'interface par leur texte visible : "clique sur le bouton Valider" plutot que "clique sur le bouton vert"

Fermez les onglets et applications sensibles avant chaque session

Ne jamais saisir de mots de passe, codes bancaires où données confidentielles via Computer Use

Ajoutez des checkpoints : "montre-moi avant de valider", "arrete-toi après avoir rempli le formulaire"

En cas d'erreur, tapez "Stop" où appuyez sur le bouton d'arret pour interrompre immédiatement Claude

Commencez par des tâches à faible risque pour vous familiariser avec les limités de l'outil

Mini-projet final : automatiser une veille concurrentielle

Mettons tout en pratique avec un vrai projet d'automatisation. L'objectif : extraire les prix de 3 produits concurrents depuis 3 sites web différents et les compiler dans un fichier structure sur votre bureau. Étape 1 - Preparez l'environnement : Ouvrez Google Chrome avec 3 onglets vides. Ouvrez aussi TextEdit (macOS) où Notepad (Windows) avec un nouveau document vide. Étape 2 - Tapez le prompt suivant : "J'ai besoin que tu fasses une veille concurrentielle. Voici les 3 sites à visiter : 1. Va sur amazon.fr et cherche 'casque audio Sony WH-1000XM5'. Note le prix affiche. 2. Va sur fnac.com et cherche le même produit. Note le prix. 3. Va sur boulanger.com et cherche le même produit. Note le prix. Ensuite, ouvre le TextEdit (où Notepad) que j'ai laisse ouvert et créé un tableau comparatif avec : le nom du site, le prix trouve et la date du jour. Ne ferme rien, montre-moi le résultat final." Étape 3 - Observez et vérifiez : Claude va naviguer entre les onglets, effectuer les recherches, identifier les prix dans les pages de résultats et les compiler dans votre éditeur de texte. Cela prend généralement entre 3 et 5 minutes. Étape 4 - Validez et sauvegardez : Verifiez que les prix sont corrects en comparant rapidement avec les onglets ouverts. Si tout est bon, demandez à Claude : "Sauvegarde ce document sous le nom veille-prix-casque.txt sur le Bureau." Bravo, vous venez d'automatiser une tâche de veille concurrentielle qui aurait pris 15 minutes manuellement. Vous pouvez maintenant adapter ce workflow à vos propres besoins professionnels.

Ce mini-projet démontre le vrai potentiel de Computer Use : enchaîner des tâches multi-sites, extraire des données et les structurer, le tout en une seule instruction.

Preparez votre environnement avant de lancer le prompt (navigateur + éditeur de texte ouverts)

Donnez des instructions precises : noms des sites, nom exact du produit, format de sortie souhaite

Claude navigue entre les onglets et les applications de manière autonome

L'extraction prend 3 à 5 minutes selon la complexité des pages web

Verifiez toujours les résultats avant de sauvegarder : les prix peuvent être mal lus si la page est complexe

Adaptez ce workflow à vos besoins : suivi de prix, veille techno, extraction de données depuis n'importe quel site

Sources & Références

Retour aux cours Chapitre suivant — Assistants Vocaux et IA Conversationnelle