ARC-Challengeは、AI2推論チャレンジ（ARC）のサブセットであり、2018年にアレン人工知能研究所（AI2）によって導入された質問応答用のベンチマークデータセットである。ARCデータセットは、小学校レベルの多肢選択式の科学問題で構成され、標準化テストやカリキュラム資料から抽出されている。チャレンジセットは、検索ベースおよび共起ベースのアルゴリズムにとって困難な問題のみを選別して収集されており、AIシステムが多段階推論、常識推論、科学的知識の適用を行う能力を厳格に試すものとなっている。
ARCデータセット全体は、イージーセットとチャレンジセットの2つの区分に分かれている。一般にARC-Challengeと呼ばれるチャレンジセットには約2,590問が含まれ、イージーセットには約5,190問が含まれる。この区分は、単純な統計モデルや検索モデルが各問題でどの程度機能するかを評価し、それらのモデルが解けなかった問題をチャレンジセットに配置することで作成された。この設計により、ARC-Challengeでの高い性能は、パターンの記憶や表面的な語彙的手がかりへの依存では達成できず、より堅牢な推論能力への進展を促すことが保証されている。
歴史的背景と動機
ARC-Challengeの作成は、多くの既存の質問応答ベンチマークが飽和状態にあり、モデルがデータセットのバイアスを利用して人間に近い性能を達成しているという観察によって動機づけられた。ピーター・クラークやオレン・エツィオーニなどの研究者が率いるAI2チームは、長年にわたって関連性を維持し、科学的概念を真に理解するシステムの開発を促進するベンチマークを提供することを目指した。ARC-Challengeの問題は、事実の想起だけでなく、複数の事実を組み合わせ、論理規則を適用し、日常的な現象について推論する能力を必要とする。例えば、同じ温度で金属のスプーンが木のスプーンよりも冷たく感じる理由を問う問題があり、熱伝導率と熱伝達の理解が必要となる。
ベンチマークの特性と評価
ARC-Challengeの問題は4つの選択肢を持つ多肢選択式であり、地球科学、生物学、物理学、化学のトピックにわたる。問題は、十分な教育を受けた中学生が解答できるように設計されているが、しばしば微妙な区別を含み、注意深い読解を必要とする。評価は通常、正解率（正しく回答した問題の割合）として報告される。リリース以来、ARC-ChallengeはArtificial intelligenceコミュニティにおける標準的なベンチマークとなり、ウィノグラード・スキーマ・チャレンジやOpenBookQAデータセットなどの他の推論テストと並んで使用されている。このベンチマークは公開されており、研究論文で広く採用され、リーダーボードが各種モデルの進捗を追跡している。
現代のAIシステムの性能
当初、2018年の最先端モデルはARC-Challengeで約30〜40%の正解率を達成し、ランダム推測のベースラインである25%をわずかに上回る程度だった。大規模なTransformer (architecture)ベースのモデル、特にLarge language modelの登場により、大幅な改善が見られた。例えば、OpenAIが2020年に発表したGPT-3などのモデルは、チャレンジセットで約55〜60%の正解率に達した。GPT-4やClaude 3などの最近のシステムは、90%を超える正解率を報告しており、このベンチマークで人間の性能に近づくか、またはそれを上回ることが多い。しかし、研究者は、ARC-Challengeでの高得点が必ずしも堅牢な推論を意味するわけではなく、モデルが記憶されたトレーニングデータやヒューリスティックに依存している可能性があると警告している。このベンチマークは進捗を測定するための有用なツールであり続けるが、より敵対的で動的な評価によって補完されることが多い。
限界と批判
ARC-Challengeの主な批判は、最新世代のAIモデルにとって十分な難易度ではなくなり、改善がもはや意味をなさない「飽和効果」が生じている可能性があることである。さらに、問題が公開された教育資料から派生しているため、多くの大規模モデルのトレーニングコーパスに含まれている可能性があり、データ汚染に関する懸念が生じている。これらの問題に対処するため、研究者は敵対的摂動を加えたARC-Challengeや、関連するARC-DA（ドメイン適応）タスクなどの変種や拡張を提案している。これらの限界にもかかわらず、ARC-Challengeは推論能力を評価するための貴重なベースラインとして機能し続けており、その設計原則はMMLUやBIG-benchなどの新しいベンチマークの作成に影響を与えている。
関連ベンチマークと将来の方向性
ARC-Challengeの成功は、一連の推論ベンチマークを生み出した。同じくAI2によるOpenBookQAデータセットは、少数の核となる事実を用いたオープンブック推論に焦点を当てている。CommonsenseQAベンチマークは常識知識をテストし、RiddleSenseデータセットはなぞなぞや水平思考を対象としている。Machine learningおよびDeep learningの文脈では、ARC-Challengeはこれらのベンチマークと併用され、モデルの推論能力の包括的な評価を提供することが多い。将来の作業には、飽和を防ぐために自動生成および更新される動的ベンチマークの作成や、テキストと画像や図を組み合わせたマルチモーダル推論を必要とするベンチマークの作成が含まれる可能性があり、これはAI評価における現在の最前線である。