ブラウザ使用

Browser Useは、人工知能エージェントが自律的にウェブブラウザを操作できるように設計されたオープンソースのソフトウェアフレームワークである。これは大規模言語モデルとワールドワイドウェブの対話環境との間の橋渡しとして機能し、モデルが自然言語の指示を通じてフォーム入力、ナビゲーション、データ抽出、多段階のトランザクションなどのタスクを実行できるようにする。このフレームワークは、AI駆動の自動化を構築する開発者や研究者を対象としており、さまざまなブラウザ環境でのアクセシビリティと柔軟性に重点を置いている。

このプロジェクトは、生成AIの急速な進歩と、複雑なマルチモーダル入力を処理するニューラルネットワークモデルの能力向上という文脈で登場した。モデルがブラウザの状態を認識しアクションを実行するための構造化された方法を提供することで、Browser Useは会話型AIと現実世界のデジタルインタラクションとの間の大きなギャップに対処している。これはウェブスクレイピング、自動テスト、パーソナルアシスタントアプリケーションなどさまざまな領域で採用されているが、主なユースケースは依然として研究とプロトタイピングである。

アーキテクチャと設計

Browser Useは中核として、AIエージェントが現在のブラウザページの表現を受け取り、次のアクションについて推論し、定義されたツールのセットを通じてそのアクションを実行するループを実装する。このフレームワークは通常、視覚とテキストの入力を処理できるトランスフォーマーベースのモデルと統合し、スクリーンショットやDOM（ドキュメントオブジェクトモデル）構造を解釈できるようにする。この設計は強化学習などの分野の研究と類似しているが、Browser Use自体はトレーニングフレームワークではなく、推論時のオーケストレーション層である。

このフレームワークは、クリック、タイピング、スクロール、ナビゲーションなどの一般的なブラウザ操作を抽象化するPythonベースのAPIを提供する。効率性のためにヘッドレスブラウザで動作することも、デバッグのために可視ウィンドウで動作することもできる。重要な特徴は、JSONスキーマに基づくことが多い構造化出力形式の使用であり、これによりモデルがプログラム的に検証されるアクションを生成し、幻覚や無効なステップのリスクを低減する。このアプローチは、ツール使用やエージェント型AIなどの技術と一致しており、これらは人工知能研究所で活発な研究分野である。

開発の歴史

Browser Useは2024年初頭にオープンソースプロジェクトとして初めてリリースされ、参入障壁の低さからGitHubやHacker Newsなどのプラットフォームで注目を集めた。初期バージョンはOpenAIのGPT-4ビジョンモデルに依存していたが、サポートはすぐにAnthropicや他のプロバイダーのモデルを含むように拡大された。プロジェクトのメンテナーはモデル非依存の設計を強調し、ユーザーが統一インターフェースを通じて異なる大規模言語モデルをプラグインできるようにした。

2025年時点で、このプロジェクトは世界中の開発者コミュニティから貢献を受けており、一般的なワークフローをカバーするドキュメントと例が提供されている。コアチームは小規模のままであるが、プロジェクトはオープンソースの機械学習ツールのより広いエコシステムから恩恵を受けている。フレームワークのバージョン履歴は、安定性の向上、ブラウザサポートの追加、マルチモーダル学習モデルで導入された機能などの新しいモデル機能の組み込みを目的とした定期的な更新を示している。

主要な機能

DOM解析と状態表現

このフレームワークは、ライブウェブページを言語モデルが処理できる形式に変換する。オプションには、シリアル化されたHTML、アクセシビリティツリーのスナップショット、または視覚的なスクリーンショットが含まれる。この柔軟性は、モデルによって入力モダリティが異なるため重要である。テキストのみのモデルもあれば、Google DeepMindのモデルのように画像入力を受け付けるものもある。Browser Useには、トークン消費とタスク精度のバランスを取りながら最も効率的な表現を選択するヒューリスティックが含まれている。

アクション計画と実行

Browser Useは、click_element、fill_input、select_option、navigate_toなどの一連の原子的アクションを定義する。モデルはこれらのアクションのシーケンスを出力し、フレームワークはそれらをブラウザで実行し、次の反復のために結果の状態をキャプチャする。このループは、モデルが完了を通知するか、ユーザー定義の終了条件が満たされるまで継続する。マルチタブワークフローなどの並列アクションのサポートは、後のバージョンで追加された。

カスタマイズと拡張性

開発者はカスタムアクションを定義し、外部APIと統合できるため、ブラウザ制御を他のツールと組み合わせることが可能になる。これは、モデルが外部関数を呼び出す検索拡張生成システムで見られるパターンと類似している。Browser Useはまた、タスク目標を指定するユーザー提供のプロンプトをサポートし、長いタスクにわたるメモリとコンテキストの機能を備えているが、これは依然として積極的な改善の領域である。

AIモデルとの統合

Browser UseはOpenAI、Anthropic、および他の商用モデルAPI、ならびにAlibaba CloudやMeta AIなどのオープンウェイトモデルと連携するように設計されている。これは、少数ショット学習やシステムメッセージなどの標準的なプロンプトエンジニアリング技術を使用して、信頼性の高い動作を引き出す。このフレームワークはモデルをファインチューニングせず、代わりにモデルの事前トレーニングされたHTMLと視覚レイアウトの理解能力に依存する。これにより、モデルバージョンの更新に敏感であり、プロンプトが時折壊れることがあり、これはプロジェクトのイシュートラッカーに記録されている既知の課題である。

ローカルでモデルを実行するユーザーのために、Browser UseはvLLMやOllamaなどのフレームワークを通じて提供されるモデルと連携できる。ただし、十分なコンテキストウィンドウとビジョン機能が必要である。パフォーマンスはモデルによって大きく異なり、小規模なモデルは複雑なページで苦労することが多い一方、大規模なフロンティアモデルはより高い成功率を達成する。これにより、ウェブタスクでのモデルパフォーマンスを比較する公開ベンチマークが生まれている。これらのベンチマークは、自律型ウェブエージェントの標準テストスイートであるwebarenaスタイルの評価を参照することが多い。

ユースケースと応用

一般的なアプリケーションには、求人応募やデータ入力のための自動フォーム送信、動的サイトからの構造化データ抽出、ウェブアプリケーションのユーザーインターフェースのテストなどが含まれる。学術環境では、研究者が強化学習エージェントのトレーニング用データセットを作成したり、エージェントの動作を研究するためのベースラインとしてBrowser Useを使用してきた。一部のスタートアップは、エージェントがCRMをナビゲートし、ユーザーの問い合わせに基づいてレコードを更新するカスタマーサポート自動化の内部ツールにこれを組み込んでいる。

注目すべき初期のデモンストレーションには、大規模言語モデルとともにBrowser Useを使用してOpenTableでレストランの予約を完了し、最小限の人間の監視で多段階プロセスを完了したことが含まれる。これは汎用ウェブ自動化の可能性を強調したが、CAPTCHAの処理やネットワークリクエストの待機を必要とする動的コンテンツの処理などの限界も明らかにした。

他のプロジェクトとの関係

Browser Useは、SeleniumやPuppeteerなどの低レベルブラウザ自動化ツールと、AutoGPTやBabyAGIなどの高レベルエージェントフレームワークとの間のニッチを占めている。Seleniumとは異なり、明示的なスクリプト化されたステップを必要とせず、代わりに意思決定をモデルに委任する。初期のエージェントフレームワークと比較して、Browser Useはブラウザインタラクションに焦点を絞ったインターフェースを提供し、一般的なファイルシステムやターミナルアクセスの複雑さを回避している。このプロジェクトはまた、Amazon Web Servicesの実行などの特定のクラウドサービスのラッパーなど、その機能を拡張するサードパーティライブラリにも影響を与えている。

制限と考慮事項

その有用性にもかかわらず、Browser Useにはいくつかの既知の制限がある。各アクションがモデルAPIへの往復を必要とすることが多く、遅延とコストの両方が発生するため、遅くなる可能性がある。信頼性は保証されておらず、モデルが間違った要素をクリックしたり、ページを誤解釈したりして、連鎖的なエラーを引き起こす可能性がある。フレームワークには暴走ループを制限するmax_stepsパラメータが含まれているが、失敗したアクションからの回復は限られている。CAPTCHAやアンチボットシステムは、自動アクセスを阻止するように設計されているため、大きな障害となる。プロジェクトのドキュメントはこれらの問題を認識しており、本番環境での使用には人間参加型の検証を推奨している。

プライバシーとセキュリティも考慮事項であり、フレームワークはユーザーの認証情報で任意のウェブサイトにアクセスできる。開発者は専用のブラウザプロファイルとサンドボックス環境の使用を推奨している。資格情報の収集への悪用の可能性についてコミュニティで議論があり、フレームワーク内のガードレールの要求につながっているが、2025年時点ではこれらは完全には実装されていない。

関連プロジェクトとの比較

Browser Useは、ウェブ上でエージェント型AIを可能にするいくつかの取り組みの1つである。競合には、LangChainのブラウザツール、Playwright MCP（モデルコンテキストプロトコル）、およびPerplexityのブラウザ内エージェントなどの専門商用製品が含まれる。これらの一部とは異なり、Browser Useはコンテンツ抽出だけでなく、スクロール、マルチタブ、ファイルダウンロードを含むブラウザのフル機能制御を強調している。そのオープンソースの性質により、プロンプトの監査と変更が可能であり、これは多くのベンダーがクローズドAPIを提供する分野での差別化要因である。

コーネル大学やスタンフォード大学の研究室からの初期の研究プロトタイプと比較して、Browser Useは新規性のランクよりも使いやすさを優先している。これはその後のフレームワークに影響を与え、一部のプロジェクトはその概念を独自の設計ドキュメントに取り入れている。プロジェクトのライセンスであるMITスタイルのライセンスは商用利用を許可しており、スタートアップや社内企業ツールでの採用を促進している。

課題と制限

その能力にもかかわらず、Browser Useは顕著な制約に直面している。ウェブページは非常に動的で一貫性がなく、非決定的なDOM構造を生成するJavaScript中心のフレームワークを使用することが多い。フレームワークは設定可能なタイムアウトとリトライロジックでこれを軽減しているが、特に攻撃的なアンチボット保護があるサイトでは失敗は珍しくない。さらに、完全なページ表現を処理するトークンコストは、特に長いタスクでは重要であり、Amazon Web ServicesやAzureなどの商用クラウドコンピューティングプラットフォームで実行するには高価になる。

信頼性は依然として中核的な問題であり、大規模言語モデルは構文的には有効であるが意味的には間違ったアクションを時折生成する。たとえば、検索ボタンの代わりにログインボタンをクリックするなどである。フレームワークはこれらのエラーを完全に防ぐことはできず、ユーザーが事後検証スクリプトを追加することはできる。強化学習やプロンプトエンジニアリングからの技術を含む、ウェブエージェントのより良いグラウンディングの研究が進行中であり、Browser Useはそのような方法のテストベッドとして機能している。

コミュニティと配布

プロジェクトはGitHubとPython Package Index（PyPI）を通じて配布され、ドキュメントは専用ウェブサイトでホストされている。コミュニティサポートはGitHub IssuesとDiscordサーバーを通じて維持されており、開発者は失敗事例と回避策を共有している。2025年時点で、リポジトリは数千のスターとフォークを記録しており、活発な関心を示している。プロジェクトはまた、さまざまな大規模言語モデルプロバイダーとの統合に関するチュートリアルを含む、ユースケースの例とブログのリストを維持している。

今後の方向性

今後を見据えて、開発者はセッション間のメモリの改善と、永続的なアイデンティティ管理のためのブラウザ拡張機能との統合に関心を示している。また、ページコンテンツのより良い要約を通じてトークン使用量を削減する取り組みもあり、これにより長いタスクのコストが削減される。フレームワークは、推論と空間理解を改善するトランスフォーマーの進歩、およびOpenAIやAnthropicがUI研究グループと協力して開発したGUIインタラクションに特化した新しいモデルから恩恵を受ける可能性が高い。

スクリーンショットをよりネイティブに処理できるマルチモーダルモデルへの移行は、DOM解析への依存を減らす可能性があるが、Browser Useが両方のモダリティで動作する能力は、その関連性を維持している。エージェント型AIの分野が成熟するにつれて、Browser Useのようなツールは、RESTful APIがウェブサービスで標準的になったように、標準化されたコンポーネントになる可能性がある。プロジェクトの軌道は継続的な成長を示唆しており、AzureやGoogle Cloudなどのクラウドプラットフォームへの統合がスケーラブルな展開のために行われる可能性がある。