En octobre 2024, Anthropic a introduit la fonctionnalité « computer use » pour sa série de modèles de langage Claude. Cette capacité permet à une application d'appeler l'API Claude pour tenter de donner un contrôle de navigation à l'application via l'interprétation par Claude du contenu de l'écran et la simulation d'entrées clavier et souris. Cela a marqué une étape significative dans Generative AI vers des agents IA capables d'interagir avec des interfaces graphiques de manière humaine.
La fonctionnalité faisait partie de l'effort plus large d'Anthropic pour étendre Claude au-delà des interactions de chatbot vers des outils agentiques. Elle a suivi la sortie de Claude en tant que chatbot basé sur l'IA en mars 2023 et l'introduction des artefacts en juin 2024. Computer use a été conçu pour permettre à Claude d'effectuer des tâches telles que remplir des formulaires, naviguer sur des sites web et utiliser des logiciels, en utilisant uniquement des informations visuelles provenant de l'écran et des événements d'entrée simulés.
Fondement technique
Computer use repose sur la capacité de Claude à traiter des captures d'écran et à générer des actions. Le modèle reçoit une image d'écran, identifie les éléments pertinents et génère des commandes telles que des clics de souris, des frappes clavier ou des actions de défilement. Cette approche diffère de l'automatisation traditionnelle qui dépend d'API ou d'arbres d'accessibilité. Anthropic a entraîné le modèle sur une variété d'environnements de bureau pour améliorer la généralisation.
L'architecture sous-jacente est basée sur le modèle Transformer (architecture), également utilisé dans d'autres systèmes Large language model. L'entraînement de Claude utilise une constitution, une technique développée par Anthropic pour améliorer la conformité éthique et légale. La fonctionnalité computer use était initialement disponible via l'API Claude, permettant aux développeurs de l'intégrer dans leurs propres applications.
Capacités et limites
Lors de sa sortie initiale, computer use pouvait effectuer des tâches telles que rechercher sur le web, remplir des formulaires et naviguer dans des flux de travail en plusieurs étapes. Anthropic a rapporté que le modèle pouvait accomplir des tâches simples avec une précision modérée, mais qu'il n'était pas encore fiable pour des opérations complexes ou à enjeux élevés. L'entreprise a souligné que la fonctionnalité était expérimentale et recommandait une supervision humaine.
Une limitation notable était la tendance du modèle à faire des erreurs dans des interfaces inconnues ou lorsque les mises en page d'écran changeaient. Anthropic a également noté que computer use pouvait être vulnérable aux attaques par injection de prompts, où des instructions malveillantes intégrées dans des pages web pourraient influencer les actions du modèle. L'entreprise a conseillé aux développeurs de mettre en place des mesures de protection.
Comparaison avec d'autres systèmes d'IA
Computer use a positionné Anthropic aux côtés d'autres développeurs d'IA explorant des capacités agentiques. OpenAI et Google DeepMind avaient également démontré des modèles capables d'interagir avec des logiciels, mais l'approche d'Anthropic se concentrait sur le contrôle basé sur l'écran plutôt que sur l'intégration d'API. Cela la rendait applicable aux systèmes hérités et aux applications sans interfaces programmatiques.
La fonctionnalité faisait partie d'une tendance vers des systèmes Artificial intelligence capables de faire fonctionner des ordinateurs de manière autonome. Contrairement aux modèles Machine learning qui ne génèrent que du texte, computer use exigeait que le modèle comprenne les mises en page spatiales et exécute des actions séquentielles. Cela nécessitait des avancées dans la compréhension visuelle et la prise de décision.
Adoption par les développeurs et écosystème
Après le lancement d'octobre 2024, les développeurs ont commencé à intégrer computer use dans divers outils. Il a été utilisé pour automatiser la saisie de données, tester des logiciels et gérer des flux de travail. La fonctionnalité était particulièrement utile pour les tâches nécessitant l'interaction avec plusieurs applications, comme copier des données d'une feuille de calcul dans un formulaire web.
Anthropic a fourni une documentation et des exemples pour aider les développeurs à démarrer. L'API permettait un contrôle précis des actions du modèle, y compris la possibilité de mettre en pause et de reprendre des tâches. Certains développeurs ont combiné computer use avec d'autres fonctionnalités de Claude, comme les artefacts, pour créer des applications plus sophistiquées.
Développements ultérieurs
La fonctionnalité computer use a évolué au fil du temps. En février 2025, Anthropic a publié Claude Code, un outil agentique basé sur le terminal pour les tâches de codage. Bien que Claude Code se concentre sur les interactions textuelles, computer use est resté pertinent pour les environnements graphiques. En août 2025, Anthropic a publié Claude pour Chrome, une extension de navigateur permettant à Claude de parcourir des sites web et de cliquer et remplir des formulaires au nom de l'utilisateur. Cette extension s'appuyait sur une technologie similaire d'interprétation d'écran.
En janvier 2026, Anthropic a introduit Claude Cowork, un outil graphique destiné aux utilisateurs non techniques. Cowork fournissait à Claude un accès à un shell sandboxé et à des dossiers sélectionnés par l'utilisateur, permettant au modèle de lire, écrire et modifier des fichiers, d'exécuter du code et d'enchaîner des tâches en plusieurs étapes. Bien que Cowork ne repose pas uniquement sur computer use, il partageait l'objectif de permettre à Claude de faire fonctionner des logiciels sur l'ordinateur d'un utilisateur.
Considérations de sécurité et éthiques
L'introduction de computer use a soulevé des préoccupations de sécurité. Étant donné que le modèle pouvait contrôler une interface de bureau, il pourrait potentiellement être exploité pour effectuer des actions non autorisées. Anthropic a mis en place des mesures de protection telles que l'exigence de confirmation de l'utilisateur pour les opérations sensibles et la limitation de l'accès du modèle à certaines fonctions système.
Les attaques par injection de prompts étaient une préoccupation particulière. En août 2025, Anthropic a rapporté que ces attaques réussissaient 11,2 % du temps après les atténuations dans Claude pour Chrome. L'entreprise a continué à rechercher des moyens d'améliorer la robustesse. Les implications plus larges pour la sécurité de Deep learning et Neural network ont été discutées dans les milieux académiques et industriels.
Impact et réception
Le lancement de computer use a été largement couvert par les médias technologiques. Il a été considéré comme une étape importante dans le développement d'agents IA capables d'interagir avec le monde numérique. Certains observateurs l'ont comparé aux efforts antérieurs dans Chess computer et d'autres domaines où l'IA a démontré des capacités dans des environnements contraints, mais ont noté que computer use abordait un problème plus général et non structuré.
La décision d'Anthropic a également intensifié la concurrence entre les entreprises d'IA. Microsoft et Google intégraient l'IA dans leurs systèmes d'exploitation et outils de productivité, tandis que Amazon Web Services et d'autres fournisseurs de cloud offraient des services d'IA. Computer use a donné à Anthropic une offre distincte dans l'espace de l'IA agentique.
Orientations futures
En 2026, computer use continuait d'être affiné. Anthropic prévoyait d'améliorer la précision, la vitesse et la capacité du modèle à gérer des interfaces complexes. L'entreprise explorait également des moyens de combiner computer use avec d'autres fonctionnalités agentiques, telles que Claude Code et Cowork, pour créer une automatisation plus fluide.
Le développement de computer use faisait partie d'un mouvement plus large vers des systèmes Generative AI capables d'agir dans le monde, pas seulement de générer du texte. Des chercheurs d'institutions comme MIT CSAIL et Stanford AI Lab étudiaient des approches similaires. L'objectif à long terme était de créer des assistants IA capables de gérer une large gamme de tâches informatiques avec une intervention humaine minimale.
La fonctionnalité computer use d'Anthropic représentait une avancée notable pour rendre l'IA plus pratique et interactive. En permettant à Claude de faire fonctionner une interface de bureau, elle ouvrait de nouvelles possibilités d'automatisation et d'assistance, tout en soulevant des questions importantes sur la sécurité et le contrôle.