O uso de computador é uma capacidade que permite que um modelo de linguagem de grande porte opere diretamente uma interface gráfica de computador padrão, visualizando o conteúdo da tela e emitindo ações de mouse e teclado, em vez de interagir com o software apenas por meio de APIs dedicadas escritas especificamente para ele. Enquanto o uso de ferramentas comum exige que um desenvolvedor exponha cada capacidade como uma chamada de função discreta, o uso de computador permite que um modelo atue em qualquer software que tenha uma interface visual, incluindo sites, aplicativos de desktop e controles de sistema operacional, da mesma forma que um usuário humano faria, olhando o que está na tela e clicando, digitando ou rolando em resposta.
A Anthropic introduziu a técnica publicamente em outubro de 2024 como um recurso de seus modelos Claude (AI model family), descrevendo-a como permitindo que o modelo tire capturas de tela, mova um cursor, clique em botões e digite texto dentro de um ambiente virtual controlado. A capacidade depende de o modelo ser capaz de interpretar imagens de uma tela e traduzir esse entendimento em ações baseadas em coordenadas, o que a tornou uma extensão natural das capacidades de IA multimodal e modelo de visão e linguagem, em vez de uma técnica puramente baseada em texto. Outros laboratórios, incluindo Google DeepMind e OpenAI, lançaram recursos comparáveis de agentes de navegador e operação de computador ao longo de 2024 e 2025, à medida que a abordagem se tornou uma categoria estabelecida dentro da onda mais ampla de agentes.
Como funciona
Um ciclo de uso de computador normalmente segue um ciclo de perceber-decidir-agir: o modelo recebe uma captura de tela do estado atual da tela junto com o objetivo geral do usuário, decide sobre uma única próxima ação, como clicar em uma coordenada específica, digitar uma string ou pressionar uma tecla, essa ação é executada no ambiente, e uma nova captura de tela é capturada e retornada ao janela de contexto do modelo para a próxima decisão. Esse ciclo se repete até que o modelo determine que a tarefa está concluída ou que um limite seja atingido. Como opera através da mesma superfície visual e de entrada que um humano usa, o uso de computador não exige que um aplicativo exponha uma API, o que permite que funcione com software legado, ferramentas empresariais internas e sites sem integração pública.
Aplicações
O uso de computador tem sido aplicado à automação de navegadores para pesquisa e entrada de dados, teste de software simulando os cliques e entradas de um usuário real, e automação de tarefas repetitivas de escritório, como preencher formulários em sistemas que nunca foram projetados para serem scriptados. É frequentemente discutido como uma extensão da categoria mais ampla de agente de IA para ambientes além de um conjunto definido de ferramentas, e pode ser combinado com chamadas de ferramentas mais convencionais dentro do mesmo agente, às vezes conectado através de uma interface compartilhada, como o protocolo de contexto de modelo, chamando uma API dedicada quando uma existe e recorrendo ao controle direto da interface quando não existe.
Limitações e riscos
Os primeiros sistemas de uso de computador eram visivelmente mais lentos e menos confiáveis do que o uso de ferramentas baseado em API, já que cada ação exige uma ida e volta completa através da interpretação de imagens antes que o próximo passo possa ser dado, e os modelos podiam clicar errado, ler mal texto pequeno ou ficar confusos com layouts de interface desconhecidos. A Anthropic e outros laboratórios descreveram a capacidade como experimental no lançamento e recomendaram executá-la em ambientes isolados, dado o risco de ações não intencionais. As implicações de segurança também são mais severas do que para o uso estreito de ferramentas, já que um modelo operando uma interface de computador completa tem, em princípio, a mesma gama de ações possíveis disponíveis para ele que um usuário humano teria, incluindo ações com consequências financeiras, de segurança ou irreversíveis, o que é uma razão pela qual os agentes de uso de computador são considerados um alvo elevado para ataques de injeção de prompt e são tipicamente implantados com salvaguardas, supervisão humana e ambientes de execução restritos. Em 2025, o uso de computador permanecia uma categoria em rápida evolução, mas ainda em amadurecimento, com precisão e confiabilidade melhorando substancialmente ao longo de gerações sucessivas de modelos, mas ainda ficando atrás de integrações de API projetadas para fins específicos em tarefas onde uma API dedicada existe.