MegaFaceは、顔認識アルゴリズムのためのベンチマークおよびチャレンジであり、2015年にワシントン大学の研究者らによって導入された。これは、従来の顔認識データセットが通常わずか数千の個人しか含まず、比較的管理された条件下で評価されていたという限界に対処するために作られた。MegaFaceは、100万枚を超える顔画像と69万人を超える個人を表す大規模なテストベッドを提供し、顔認識を百万規模の識別および検証シナリオへと押し上げた最初のベンチマークの1つとなっている。
MegaFaceの主な目的は、非一致の個人（ディストラクタ）の数が増えるにつれて、顔認識アルゴリズムがどれだけ拡張性を発揮するかを評価することである。典型的な評価では、既知の個人のプローブ画像が、正しい個人に加えて多数のディストラクタを含むギャラリーと照合される。このチャレンジでは、識別精度（ランク1認識率）と検証精度（指定された誤受理率での真受理率）の両方を測定する。この設定は、監視、写真整理、アクセス制御などの現実世界の応用を模擬しており、システムは何百万もの候補の中から人物を識別しなければならない。
データセットとチャレンジ構造
MegaFaceデータセットは、ギャラリーとプローブセットの2つの主要なコンポーネントで構成される。ギャラリーには、Flickrから収集された100万を超える顔画像が含まれ、約69万の異なる個人を表している。これらの画像は制約がなく、ポーズ、照明、表情、遮蔽、画質が大きく異なる。プローブセットには、1,000の異なる個人の100,000枚の画像が含まれ、各個人には100枚の画像がある。これらのプローブ画像はFaceScrubデータセットから取得されており、制御された条件と制御されていない条件が混在する有名人の顔を提供している。
チャレンジは、識別と検証の2つのトラックに分かれて構成されている。識別では、アルゴリズムは100万のディストラクタからなるギャラリー全体の中で正しい個人をランク付けしなければならない。検証では、アルゴリズムは画像のペアが同じ人物に属するかどうかを決定し、ギャラリーは負の例を提供する。評価メトリクスには、識別のランク1精度と検証の受信者動作特性（ROC）曲線が含まれ、誤認率1e-6での真受理率に焦点を当てている。
顔認識研究への影響
MegaFaceは、そのリリース以来、顔認識コミュニティの標準ベンチマークとなった。これは、2015年から2017年まで開催されたMegaFaceチャレンジで使用され、学術界と産業界の双方の研究グループから投稿を集めた。このチャレンジは、顔認識精度の大幅な向上、特に深層学習ベースの手法の分野での進歩を促すのに貢献した。MegaFaceの前は、多くのアルゴリズムがLFWといった小規模なデータセットでほぼ完璧な精度を達成していたが、MegaFaceで示されたのは、数百万のディストラクタにスケールした場合にパフォーマンスが大幅に低下したことである。これにより、より堅牢な特徴表現と損失関数の開発が促され、特に大規模での識別を向上させるために設計されたアングルマージン損失（例：ArcFace、CosFace）などが注目された。
このベンチマークはまた、トレーニングデータの多様性と大規模なトレーニングデータセットの必要性の重要性を示しています。MegaFaceで上位パフォーマンスを達成した多くのシステムは、数百万の画像からなるトレーニングセットを使用しており、多くの場合、インターネットから収集されたものです。 これにより、Deep learning研究において、トレーニングおよび評価データの規模のスケールが最先端の結果を達成するための重要な要素となるという広範なトレンドが生まれました。
技術的な評価とメトリクス
MegaFaceの評価は、アルゴリズム間の比較を確保するために固定プロトコルを使用して実行されます。 識別では、アルゴリズムはプローブ画像と各ギャラリー画像の間の類似性を計算します。 ギャラリーはスコアで並べられ、正しいマッチのランクが記録されます。 ランク1の精度は、正しいアイデンティティがランクリストのトップに表示されるプローブの割合です。 検証では、アルゴリズムは画像の各ペアの類似性を計算し、システムはそのため、しきい値に基づいてそれらが同じ人であるか、を決定します。 ROC曲線は真受理率を誤真受理率に対してプロットし、報告されるメトリクスは、セキュリティ用途のための厳しい要件である誤受理率1e-6頻での真受理率となります。** のプロトコルには、「小」と「大」のギャラリーのバリエーションも含まれています。 小さなギャラリーには10,000個のディストラクタが含まれています。
MegaFaceの遺産と影響
MegaFaceは、顔認識の文献で広く引用され、参照点として使用されてきました。 それは、後続の大規模なベンチマークの設計に影響を与え、たとえばIJB-C（IARPA Janus Benchmark Cなど）やMS-Celeb-1M、さらに顔認識評価の目標レベルを押し広げました。 初期の2020年代の時点では、MegaFaceは最先端のシステムのための主要なベンチマークではありませんが、顔認識アルゴリズムの評価における規模の重要性を示す歴史的なマイルストーンです。
このベンチマークは、産業にも実用的な意味を持っていました。 Artificial intelligenceとして、Machine learningにおける顔認識製品を開発していた大手企業は、展開前にMegaFaceを使用して、そのシステムを検証していました。 このチャレンジは、検証モデルを含む、顔認識の大規模な評価のためのベストプラクティスを確立し、顔認識研究における大規模評価の継続的な重視にその影響が表れています。
制限と批判
その影響にもかかわらず、MegaFaceはいくつかの批判に直面しました。 このデータセットはFlickrから収集されたため、年齢と画像品質の点で偏りがある可能性があります。 FaceScrubのプローブセットは有名人に限定されており、一般人口の人々を表すとは限りません。 さらに、ギャラリー画像は識別用にラベル付けされていないため、一部のディストラクタには実際にプローブと同じ人物が含まれている可能性があり、正しいラベル付けの問題が生じる可能性があります。 研究者は、これは精度の評価に人々与える可能性があるが、その影響は一般的に小さいと考えられることに留意しています。 MegaFaceには、一貫してる時間的変化（加齢など）や、ドメインをまたぐこえる（例：写真と監視画像の照合）ものが存在しないため、これは実用上の重要な用途で重要です。 これらの制限を改善する包括的なベンチマークを推進し、MegaFaceは、大規模な顔認識の課題を理解するための重要な参考資料として残っています。
関連項目
- ディープラーニング
- Artificial intelligence|人工知能]]
- Machine learning|マシーンラーニング]]
- Neural network|ニューラルネットワーク]]