컴퓨터 사용은 대규모 언어 모델이 전용 API를 통해 소프트웨어와 상호작용하는 대신, 화면 내용을 보고 마우스 및 키보드 동작을 실행하여 표준 그래픽 컴퓨터 인터페이스를 직접 조작할 수 있게 하는 기능이다. 일반적인 도구 사용은 개발자가 각 기능을 개별 함수 호출로 노출해야 하는 반면, 컴퓨터 사용은 모델이 웹사이트, 데스크톱 애플리케이션, 운영 체제 제어를 포함한 시각적 인터페이스를 가진 모든 소프트웨어에 대해 인간 사용자와 같은 방식으로, 화면에 표시된 내용을 보고 클릭, 입력, 스크롤을 수행하며 작동할 수 있게 한다.
앤트로픽은 2024년 10월 이 기술을 클로드 모델의 기능으로 공개적으로 도입했으며, 통제된 가상 환경 내에서 모델이 스크린샷을 찍고, 커서를 이동하고, 버튼을 클릭하고, 텍스트를 입력할 수 있게 하는 것으로 설명했다. 이 기능은 모델이 화면 이미지를 해석하고 그 이해를 좌표 기반 동작으로 변환할 수 있는 능력에 의존하며, 이는 멀티모달 AI 및 비전-언어 모델 기능의 자연스러운 확장이지 순수 텍스트 기반 기술이 아님을 의미한다. Google DeepMind 및 OpenAI를 포함한 다른 연구소들도 2024년과 2025년에 걸쳐 유사한 브라우저 및 컴퓨터 운영 에이전트 기능을 출시했으며, 이 접근 방식은 더 넓은 에이전트 물결 내에서 확립된 범주가 되었다.
작동 방식
컴퓨터 사용 루프는 일반적으로 인지-결정-행동 주기를 따른다: 모델은 현재 화면 상태의 스크린샷과 사용자의 전반적인 목표를 받고, 특정 좌표 클릭, 문자열 입력, 키 누르기와 같은 단일 다음 동작을 결정하며, 그 동작이 환경에서 실행되고, 새 스크린샷이 캡처되어 다음 결정을 위해 모델의 컨텍스트 창으로 반환된다. 이 주기는 모델이 작업이 완료되었다고 판단하거나 한도에 도달할 때까지 반복된다. 인간이 사용하는 것과 동일한 시각적 및 입력 표면을 통해 작동하기 때문에, 컴퓨터 사용은 애플리케이션이 API를 전혀 노출할 필요가 없으며, 이는 공개 통합이 없는 레거시 소프트웨어, 내부 기업 도구, 웹사이트와도 작동할 수 있게 한다.
응용 분야
컴퓨터 사용은 연구 및 데이터 입력을 위한 브라우저 자동화, 실제 사용자의 클릭과 입력을 시뮬레이션하여 소프트웨어 테스트, 그리고 스크립트로 작성되도록 설계된 적이 없는 시스템 간의 양식 작성과 같은 반복적인 사무 작업 자동화에 적용되었다. 이는 종종 정의된 도구 세트를 넘어선 환경에서의 AI 에이전트 범주의 확장으로 논의되며, 동일한 에이전트 내에서 더 전통적인 도구 호출과 결합될 수 있고, 때로는 모델 컨텍스트 프로토콜과 같은 공유 인터페이스를 통해 연결되어, 전용 API가 존재할 때는 이를 호출하고 존재하지 않을 때는 직접 인터페이스 제어로 대체할 수 있다.
한계 및 위험
초기 컴퓨터 사용 시스템은 각 동작이 다음 단계를 진행하기 전에 이미지 해석을 통한 전체 왕복을 요구하므로 API 기반 도구 사용보다 눈에 띄게 느리고 신뢰성이 낮았으며, 모델이 잘못 클릭하거나, 작은 텍스트를 잘못 읽거나, 익숙하지 않은 인터페이스 레이아웃에 혼란을 겪을 수 있었다. Anthropic 및 다른 연구소들은 출시 당시 이 기능을 실험적이라고 설명하고 의도하지 않은 동작의 위험을 고려하여 샌드박스 환경에서 실행할 것을 권장했다. 안전 영향도 좁은 도구 사용보다 더 심각한데, 전체 컴퓨터 인터페이스를 조작하는 모델은 원칙적으로 인간 사용자가 가질 수 있는 것과 동일한 범위의 가능한 동작을 가지며, 금전적, 보안적, 또는 되돌릴 수 없는 결과를 초래하는 동작을 포함하기 때문이다. 이는 컴퓨터 사용 에이전트가 프롬프트 주입 공격의 높은 표적으로 간주되고 일반적으로 안전장치, 인간 감독, 제한된 실행 환경과 함께 배포되는 이유 중 하나이다. 2025년 기준으로 컴퓨터 사용은 빠르게 발전하지만 여전히 성숙 중인 범주로 남아 있으며, 정확성과 신뢰성이 연속된 모델 세대를 거쳐 상당히 개선되었지만 전용 API가 존재하는 작업에서는 목적에 맞게 구축된 API 통합에 여전히 뒤처진다.