El uso de computadora es una capacidad que permite a un modelo de lenguaje grande operar directamente una interfaz gráfica de computadora estándar, visualizando el contenido de la pantalla y emitiendo acciones de ratón y teclado, en lugar de interactuar con el software solo a través de APIs dedicadas escritas específicamente para él. Mientras que el uso de herramientas ordinario requiere que un desarrollador exponga cada capacidad como una llamada de función discreta, el uso de computadora permite que un modelo actúe sobre cualquier software que tenga una interfaz visual, incluidos sitios web, aplicaciones de escritorio y controles del sistema operativo, de la misma manera que lo haría un usuario humano, mirando lo que está en la pantalla y haciendo clic, escribiendo o desplazándose en respuesta.
Anthropic introdujo la técnica públicamente en octubre de 2024 como una característica de sus modelos Claude, describiéndola como permitir que el modelo tome capturas de pantalla, mueva un cursor, haga clic en botones y escriba texto dentro de un entorno virtual controlado. La capacidad depende de que el modelo pueda interpretar imágenes de una pantalla y traducir esa comprensión en acciones basadas en coordenadas, lo que la convirtió en una extensión natural de las capacidades de IA multimodal y modelos de visión y lenguaje en lugar de una técnica puramente basada en texto. Otros laboratorios, incluidos Google DeepMind y OpenAI, lanzaron características comparables de agentes operadores de navegador y computadora a lo largo de 2024 y 2025 a medida que el enfoque se convirtió en una categoría establecida dentro de la ola agéntica más amplia.
Cómo funciona
Un bucle de uso de computadora típicamente sigue un ciclo de percibir-decidir-actuar: el modelo recibe una captura de pantalla del estado actual de la pantalla junto con el objetivo general del usuario, decide sobre una única acción siguiente, como hacer clic en una coordenada específica, escribir una cadena o presionar una tecla, esa acción se ejecuta en el entorno, y se captura una nueva captura de pantalla y se devuelve al contexto del modelo para la siguiente decisión. Este ciclo se repite hasta que el modelo determina que la tarea está completa o se alcanza un límite. Debido a que opera a través de la misma superficie visual y de entrada que usa un humano, el uso de computadora no requiere que una aplicación exponga una API en absoluto, lo que le permite trabajar con software heredado, herramientas empresariales internas y sitios web sin integración pública.
Aplicaciones
El uso de computadora se ha aplicado a la automatización de navegadores para investigación y entrada de datos, pruebas de software simulando los clics y entradas de un usuario real, y automatización de tareas de oficina repetitivas como completar formularios en sistemas que nunca fueron diseñados para ser programados. A menudo se discute como una extensión de la categoría más amplia de agentes de IA hacia entornos más allá de un conjunto de herramientas definido, y puede combinarse con llamadas de herramientas más convencionales dentro del mismo agente, a veces conectadas a través de una interfaz compartida como el protocolo de contexto de modelo, llamando a una API dedicada cuando existe y recurriendo al control directo de la interfaz cuando no lo hace.
Limitaciones y riesgos
Los primeros sistemas de uso de computadora eran notablemente más lentos y menos fiables que el uso de herramientas basado en API, ya que cada acción requiere un ciclo completo de ida y vuelta a través de la interpretación de imágenes antes de que se pueda dar el siguiente paso, y los modelos podían hacer clics incorrectos, leer mal texto pequeño o confundirse con diseños de interfaz desconocidos. Anthropic y otros laboratorios describieron la capacidad como experimental en su lanzamiento y recomendaron ejecutarla en entornos sandbox dados los riesgos de acciones no intencionadas. Las implicaciones de seguridad también son más graves que para el uso de herramientas estrecho, ya que un modelo que opera una interfaz de computadora completa tiene, en principio, el mismo rango de acciones posibles disponible para él que un usuario humano tendría, incluidas acciones con consecuencias financieras, de seguridad o irreversibles, lo que es una razón por la que los agentes de uso de computadora se consideran un objetivo elevado para ataques de inyección de prompts y típicamente se despliegan con salvaguardas, supervisión humana y entornos de ejecución restringidos. A partir de 2025, el uso de computadora seguía siendo una categoría de rápido movimiento pero aún en maduración, con precisión y fiabilidad mejorando sustancialmente a través de generaciones sucesivas de modelos pero aún quedándose atrás de las integraciones de API creadas específicamente para tareas donde existe una API dedicada.