Em outubro de 2024, a Anthropic introduziu o recurso "computer use" para sua série Claude de modelos de linguagem de grande porte. Essa capacidade permite que um aplicativo chame a API do Claude para tentar dar controle de navegação do aplicativo por meio da interpretação do conteúdo da tela e da simulação de entrada de teclado e mouse. Isso marcou um passo significativo na IA generativa em direção a agentes de IA que podem interagir com interfaces gráficas de usuário de maneira semelhante à humana.
O recurso fazia parte do esforço mais amplo da Anthropic para expandir o Claude além das interações de chatbot para ferramentas agênticas. Ele seguiu o lançamento do Claude como chatbot baseado em IA em março de 2023 e a introdução de artefatos em junho de 2024. O computer use foi projetado para permitir que o Claude executasse tarefas como preencher formulários, navegar em sites e operar software, usando apenas informações visuais da tela e eventos de entrada simulados.
Fundamento Técnico
O computer use depende da capacidade do Claude de processar capturas de tela e gerar ações. O modelo recebe uma imagem da tela, identifica elementos relevantes e gera comandos como cliques de mouse, pressionamentos de teclas ou ações de rolagem. Essa abordagem difere da automação tradicional que depende de APIs ou árvores de acessibilidade. A Anthropic treinou o modelo em uma variedade de ambientes de desktop para melhorar a generalização.
A arquitetura subjacente é baseada no modelo transformador, que também é usado em outros sistemas de modelo de linguagem de grande porte. O treinamento do Claude usa uma constituição, uma técnica desenvolvida pela Anthropic para melhorar a conformidade ética e legal. O recurso computer use estava inicialmente disponível por meio da API do Claude, permitindo que desenvolvedores o integrassem em seus próprios aplicativos.
Capacidades e Limitações
Em seu lançamento inicial, o computer use podia executar tarefas como pesquisar na web, preencher formulários e navegar em fluxos de trabalho de várias etapas. A Anthropic relatou que o modelo podia concluir tarefas simples com precisão moderada, mas ainda não era confiável para operações complexas ou de alto risco. A empresa enfatizou que o recurso era experimental e recomendou supervisão humana.
Uma limitação notável era a tendência do modelo de cometer erros em interfaces desconhecidas ou quando os layouts de tela mudavam. A Anthropic também observou que o computer use poderia ser suscetível a ataques de injeção de prompt, onde instruções maliciosas incorporadas em páginas da web poderiam influenciar as ações do modelo. A empresa aconselhou os desenvolvedores a implementar salvaguardas.
Comparação com Outros Sistemas de IA
O computer use posicionou a Anthropic ao lado de outros desenvolvedores de IA que exploram capacidades agênticas. OpenAI e Google DeepMind também demonstraram modelos que poderiam interagir com software, mas a abordagem da Anthropic focava no controle baseado em tela em vez de integração via API. Isso o tornava aplicável a sistemas legados e aplicativos sem interfaces programáticas.
O recurso fazia parte de uma tendência em direção a sistemas de inteligência artificial que podem operar computadores de forma autônoma. Diferente de modelos de aprendizado de máquina que apenas geram texto, o computer use exigia que o modelo entendesse layouts espaciais e executasse ações sequenciais. Isso demandava avanços em compreensão visual e tomada de decisão.
Adoção por Desenvolvedores e Ecossistema
Após o lançamento em outubro de 2024, desenvolvedores começaram a integrar o computer use em várias ferramentas. Ele foi usado para automatizar entrada de dados, testar software e gerenciar fluxos de trabalho. O recurso era particularmente útil para tarefas que exigiam interação com múltiplos aplicativos, como copiar dados de uma planilha para um formulário web.
A Anthropic forneceu documentação e exemplos para ajudar os desenvolvedores a começar. A API permitia controle detalhado sobre as ações do modelo, incluindo a capacidade de pausar e retomar tarefas. Alguns desenvolvedores combinaram o computer use com outros recursos do Claude, como artefatos, para criar aplicativos mais sofisticados.
Desenvolvimentos Posteriores
O recurso computer use evoluiu ao longo do tempo. Em fevereiro de 2025, a Anthropic lançou o Claude Code, uma ferramenta agêntica baseada em terminal para tarefas de codificação. Enquanto o Claude Code focava em interações baseadas em texto, o computer use permanecia relevante para ambientes gráficos. Em agosto de 2025, a Anthropic lançou o Claude para Chrome, uma extensão de navegador que permitia ao Claude navegar em sites e clicar e preencher formulários em nome do usuário. Essa extensão aproveitava tecnologia semelhante de interpretação de tela.
Em janeiro de 2026, a Anthropic introduziu o Claude Cowork, uma ferramenta gráfica voltada para usuários não técnicos. O Cowork fornecia ao Claude acesso a um shell em sandbox e pastas selecionadas pelo usuário, permitindo que o modelo lesse, escrevesse e editasse arquivos, executasse código e encadeasse tarefas de várias etapas. Embora o Cowork não dependesse exclusivamente do computer use, ele compartilhava o objetivo de permitir que o Claude operasse software no computador do usuário.
Considerações de Segurança e Ética
A introdução do computer use levantou preocupações de segurança. Como o modelo podia controlar uma interface de desktop, ele poderia potencialmente ser explorado para executar ações não autorizadas. A Anthropic implementou salvaguardas, como exigir confirmação do usuário para operações sensíveis e limitar o acesso do modelo a certas funções do sistema.
Ataques de injeção de prompt eram uma preocupação particular. Em agosto de 2025, a Anthropic relatou que tais ataques tiveram sucesso em 11,2% das vezes após mitigações no Claude para Chrome. A empresa continuou pesquisando maneiras de melhorar a robustez. As implicações mais amplas para a segurança de aprendizado profundo e rede neural foram discutidas em círculos acadêmicos e da indústria.
Impacto e Recepção
O lançamento do computer use foi amplamente coberto pela mídia de tecnologia. Foi visto como um marco no desenvolvimento de agentes de IA que poderiam interagir com o mundo digital. Alguns observadores o compararam a esforços anteriores em xadrez computacional e outros domínios onde a IA demonstrou capacidade em ambientes restritos, mas notaram que o computer use abordava um problema mais geral e não estruturado.
A medida da Anthropic também intensificou a competição entre empresas de IA. Microsoft e Google estavam integrando IA em seus sistemas operacionais e ferramentas de produtividade, enquanto Amazon Web Services e outros provedores de nuvem ofereciam serviços de IA. O computer use deu à Anthropic uma oferta distinta no espaço de IA agêntica.
Direções Futuras
Em 2026, o computer use continuava a ser refinado. A Anthropic planejava melhorar a precisão, velocidade e capacidade do modelo de lidar com interfaces complexas. A empresa também explorava maneiras de combinar o computer use com outros recursos agênticos, como Claude Code e Cowork, para criar automação mais integrada.
O desenvolvimento do computer use fazia parte de um movimento mais amplo em direção a sistemas de IA generativa que podem tomar ações no mundo, não apenas gerar texto. Pesquisadores em instituições como MIT CSAIL e Stanford AI Lab estudaram abordagens semelhantes. O objetivo de longo prazo era criar assistentes de IA que pudessem lidar com uma ampla gama de tarefas baseadas em computador com intervenção humana mínima.
O recurso computer use da Anthropic representou um avanço notável em tornar a IA mais prática e interativa. Ao permitir que o Claude operasse uma interface de desktop, ele abriu novas possibilidades para automação e assistência, ao mesmo tempo em que levantou questões importantes sobre segurança e controle.