SWE-benchは、Software Engineering Benchmarkの略で、2023年にプリンストン大学の研究者らによって導入されたベンチマークであり、言語モデルが実際のソフトウェアエンジニアリングタスクを解決する能力を測定するものである。HumanEvalのような合成コーディングベンチマークとは異なり、SWE-benchは人気のあるオープンソースのPythonリポジトリにおける実際のGitHub issueと、それに対応するマージ済みプルリクエストから直接タスクを抽出し、モデルに対して、issueを解決し、プロジェクトの既存のテストスイートを通過するコードパッチを生成するよう求める。
設計
各SWE-benchタスクは、モデルに対して特定のコミット時点のコードベース、実際のユーザーまたはコントリビューターによって書かれたissueの説明、そしてパッチを生成するという要件を提示し、成功は、そのパッチが関連するテストを通過させ、既存のテストを壊さないかどうかで測定される。これにより、SWE-benchは関数レベルのベンチマークよりもかなり難しく、より現実的である。なぜなら、issueを解決するには、大規模で馴染みのないコードベースを理解し、多数のファイルの中から関連するものを特定し、既存のコードと正しく統合する変更を行うことがしばしば必要であり、明確な仕様から孤立した関数を書くのとは異なるからである。
エージェンティックコーディングとの関係
実際のissue解決には通常、複数のステップ、コードベースの探索、テストの実行、修正の反復が必要であるため、SWE-benchは、単純な一回限りのコード生成ではなく、エージェンティックコーディングシステムの台頭と密接に関連するようになった。GitHub Copilotのエージェントモード、Cursor、Claude Codeなどのツールは、実世界での有用性の代理指標としてSWE-benchまたはその変種で一般的に評価されており、このベンチマークの台頭は、LLMコーディング支援をオートコンプリートとして見る見方から、半自律的なコーディングエージェントとして見る見方への業界全体のシフトを反映している。
進展と変種
初期のモデルはSWE-benchの元のタスクセットのごく一部しか解決できなかったが、2024年から2025年にかけて、ラボがエージェンティックコーディング能力を特にターゲットにし、推論モデルの進歩と、モデルがより多くのコードベースを視野に入れられるようにする長い有効コンテキストウィンドウの助けを借りたことで、スコアは急速に上昇した。この急速な進歩により、あいまいまたは解決不可能なタスクを除去することを目的とした人間による検証済みサブセットであるSWE-bench Verifiedや、より迅速な反復に使用される小さく高速に実行できるサブセットであるSWE-bench Liteなど、より難しい変種が作成されることになった。
重要性
SWE-benchは、OpenAIやAnthropicを含むラボからのモデルリリース発表において、より広範な評価スイートと並んで、コーディングおよびエージェンティック能力の主要な指標として頻繁に引用されている。厳選されたパズル形式の問題ではなく、実際の検証可能なソフトウェアエンジニアリング作業に基づいているため、ソフトウェア開発における実用的な有用性のより信頼できる代理指標の1つとなっているが、批評家は、主にPythonプロジェクトと、制限されたパッチ内で解決可能なissueをカバーしており、ベンチマークのタスク形式が許容する範囲を超えた、より長期的なエンジニアリング判断、アーキテクチャ上の決定、または多くのファイルやサービスにまたがる作業を捉えていない可能性があると指摘している。
分野への影響
SWE-benchの人気は、評価が合成ベンチマークから現実的でタスクに基づくベンチマークへと移行するより広範な傾向に貢献し、研究者が古い静的テストスイートに影響を与えるベンチマークの飽和と汚染の懸念に対抗しようとしたため、他の領域での同様の動きを反映している。