Humanity's Last Examは、高度な人工知能システムの能力を評価するために設計されたベンチマークデータセットである。これは、多数の専門分野の専門家によって作成された、厳選された非常に困難な質問で構成されており、現在の大規模言語モデルおよび関連技術の限界を探ることを目的としている。このベンチマークは、特にモデルが既存の評価スイートにおける人間の性能に近づくか、それを超えるにつれて、AIの進歩を厳格かつ将来を見据えた形で測定するために作成された。
このプロジェクトは、OpenAIや他の著名な機関を含む主要なAI組織の研究者や実務家が関わる共同作業として構想された。2025年初頭に公開され、AIシステムにおける専門家レベルの知識と推論を評価するための新たな基準を確立することを目指している。このベンチマークの名称は、少なくとも現在の世代のモデルにとって、AIの知的能力に対する最終的かつ包括的なテストを表すという野心を反映している。
設計と構造
このベンチマークは、数千の多肢選択式および短文回答式の質問で構成され、各質問は主題の専門家によって作成されている。質問は、数学、物理学、化学、生物学、コンピュータサイエンス、歴史、法律、人文科学など、幅広い分野にわたる。重要な設計原則は、質問が高度に能力のあるAIシステムにとっても困難である一方で、正解が検証可能かつ曖昧さがないことである。品質を確保するため、提出された各質問は厳格なレビュープロセスを経ており、既存のモデルで解ける質問は通常却下される。
データセットは、公開テストセットと非公開の保持セットに分かれている。非公開セットは、過学習とデータ汚染を防ぐために公式評価に使用される。公開セットにより、研究者や開発者は自社のシステムをベンチマークできる一方、非公開セットは一般化可能な能力のより信頼性の高い尺度を提供する。ベンチマークの作成者はまた、モデルがテストデータで訓練されるのを防ぐための厳格なプロトコルを実装しており、記憶の監視や、すべての質問が新規であり公開前に公開されていないことを要求することを含む。
主要な参加者と貢献者
この取り組みは、AIの安全性と評価に関する研究で知られるJacob SteinhardtやDavid Kaplanを含む研究者チームによって主導された。彼らには、Anthropic、Google DeepMindなどの主要なAIラボからの貢献者や、MIT CSAIL、Stanford AI Lab、BAIR (Berkeley AI Research)などの機関の学者が加わった。この取り組みはまた、世界中の独立した研究者や分野の専門家の専門知識を活用し、それぞれの分野で質問を提出した。
プロジェクトの協力的な性質は、質問タイプと主題のカバレッジの多様性を確保することを目的とした意図的な選択であった。主催者は公開の質問募集を通じて貢献を募り、数千人の専門家からの提出を集めた。各提出物は、正確性、難易度、適合性を検証するために、複数の独立した評価者によってレビューされた。このプロセスにより、範囲が広く質の高い最終データセットが生まれた。
現在のAIシステムの性能
このベンチマークからの初期結果は、Large language modelアーキテクチャに基づくものを含む最も先進的なAIシステムでさえ、人間の専門家レベルを大幅に下回るスコアを達成したことを明らかにした。OpenAIやGoogle DeepMindによって開発されたものなどの最高性能のモデルは、テストセットで一桁台から10代前半の精度率を達成した。これは、以前のベンチマークでの性能（90%を超える精度を頻繁に達成）とは対照的であった。
低いスコアは、推論、多段階の問題解決、深いドメイン知識を特に標的とするベンチマークの設計に起因するとされた。多くの質問は、複数の情報源からの情報を組み合わせたり、抽象的な概念を新しい方法で適用したりすることを必要とし、これらは現在のMachine learningアプローチにとって依然として困難なタスクである。結果は、AIの能力と専門家の人間の性能との間に有意なギャップがあることを浮き彫りにし、特に微妙な判断や創造的な統合を必要とする分野で顕著であった。
影響と受け止め方
Humanity's Last Examの公開は、AI研究コミュニティ内外でかなりの議論を生んだ。支持者は、このベンチマークが、簡単にゲーム化できない高いハードルを設定することで、汎用人工知能への進歩を追跡するための貴重なツールを提供すると主張した。しかし、批評家は、どんなにうまく設計されたベンチマークでも、モデルが改善するにつれて時代遅れになる可能性があり、そのようなテストでの性能が必ずしも現実世界の能力に変換されるとは限らないと指摘した。
これらの議論にもかかわらず、このベンチマークはフロンティアモデルを評価するための参照点として広く採用されている。いくつかのAI企業は公開テストセットでのスコアを報告しており、このベンチマークは多数の研究論文で引用されている。また、AIが達成できる限界を押し広げ続ける中で、同様の、さらにはより困難な評価スイートの開発も促進した。2025年初頭の時点で、このベンチマークを通過するに近いモデルはなく、その名称は真に知的な機械を創造するという継続的な課題の証となっている。
今後の方向性
Humanity's Last Examの作成者は、ベンチマークを定期的に更新し、新しい質問を追加し、簡単になりすぎた質問を廃止する計画を示している。この反復的なアプローチは、AIの能力が進化するにつれてその関連性を維持することを意図している。また、ベンチマークをさらに大規模に拡張するのに役立つ可能性のある自動質問生成に関する研究も進行中である。最終的な目標は、専門家レベルの理解に向けたAIの進歩の耐久性のある厳格な尺度を提供し続けることであり、この目標はGenerative AIおよび関連分野の開発を形成し続けている。