コンピュータ使用は、大規模言語モデルが標準的なグラフィカルインターフェースを直接操作できるようにする機能であり、画面の内容を表示し、マウスやキーボードの操作を実行することで、専用に書かれたAPIを通じてのみソフトウェアと対話するのではなく、人間のユーザーと同じ方法で、画面上のものを見て、クリック、入力、スクロールを行うことで、視覚的なインターフェースを持つあらゆるソフトウェア（ウェブサイト、デスクトップアプリケーション、オペレーティングシステムのコントロールを含む）に対してモデルが動作できるようにします。通常のツール使用では、開発者が各機能を個別の関数呼び出しとして公開する必要があるのに対し、コンピュータ使用では、モデルが視覚的なインターフェースを持つあらゆるソフトウェアに対して、人間のユーザーと同じように、画面を見てクリック、入力、スクロールすることで動作できます。
Anthropicは、2024年10月にこの技術をClaudeモデルの機能として公開し、管理された仮想環境内でモデルがスクリーンショットを撮り、カーソルを移動し、ボタンをクリックし、テキストを入力できるようにすると説明しました。この機能は、モデルが画面の画像を解釈し、その理解を座標ベースのアクションに変換できることに依存しており、純粋にテキストベースの技術ではなく、マルチモーダルAIや視覚言語モデルの能力の自然な拡張となりました。Google DeepMindやOpenAIを含む他の研究所も、2024年から2025年にかけて、このアプローチがより広範なエージェントの波の中で確立されたカテゴリーとなるにつれて、同等のブラウザおよびコンピュータ操作エージェント機能をリリースしました。
仕組み
コンピュータ使用のループは、通常、知覚・決定・行動のサイクルに従います。モデルには現在の画面状態のスクリーンショットとユーザーの全体的な目標が与えられ、モデルは特定の座標のクリック、文字列の入力、キーの押下などの単一の次のアクションを決定し、そのアクションが環境で実行され、新しいスクリーンショットがキャプチャされてモデルのコンテキストウィンドウに返され、次の決定が行われます。このサイクルは、モデルがタスクが完了したと判断するか、制限に達するまで繰り返されます。コンピュータ使用は、人間が使用するのと同じ視覚的および入力面を通じて動作するため、アプリケーションがAPIを公開する必要がまったくなく、レガシーソフトウェア、社内エンタープライズツール、公開統合のないウェブサイトでも動作できます。
応用
コンピュータ使用は、研究やデータ入力のためのブラウザ自動化、実際のユーザーのクリックや入力をシミュレートするソフトウェアテスト、スクリプト化されるように設計されたことのないシステム間でのフォーム入力などの反復的なオフィスタスクの自動化に適用されています。これは、AIエージェントのより広範なカテゴリーを定義されたツールセットを超えた環境に拡張するものとしてしばしば議論され、同じエージェント内でより従来型のツール呼び出しと組み合わせることができ、モデルコンテキストプロトコルなどの共有インターフェースを介して配線され、専用APIが存在する場合はそれを呼び出し、存在しない場合は直接インターフェース制御にフォールバックすることがあります。
制限とリスク
初期のコンピュータ使用システムは、各アクションが次のステップを実行する前に画像解釈の完全な往復を必要とするため、APIベースのツール使用よりも著しく遅く、信頼性が低く、モデルが誤クリック、小さなテキストの誤読、馴染みのないインターフェースレイアウトによる混乱を引き起こす可能性がありました。Anthropicや他の研究所は、この機能を発売時に実験的と説明し、意図しないアクションのリスクを考慮して、サンドボックス環境での実行を推奨しました。安全性への影響も、狭いツール使用よりも深刻です。なぜなら、完全なコンピュータインターフェースを操作するモデルは、原則として、人間のユーザーが利用できるのと同じ範囲の可能なアクションを持ち、金銭的、セキュリティ上、または取り返しのつかない結果を伴うアクションを含むためです。これが、コンピュータ使用エージェントがプロンプトインジェクション攻撃の標的としてより高いリスクと見なされ、通常、ガードレール、人間の監視、制限された実行環境で展開される理由の一つです。2025年時点で、コンピュータ使用は急速に進化しているがまだ成熟途上のカテゴリーであり、精度と信頼性はモデルの世代を重ねるごとに大幅に向上していますが、専用APIが存在するタスクでは、目的に特化したAPI統合には依然として遅れを取っています。