データ中心AIは、人工知能におけるパラダイムであり、開発の主な焦点を、ニューラルネットワークのアーキテクチャやハイパーパラメータの調整といったモデル中心の改善から、トレーニングと評価に使用されるデータの体系的な強化へと移行させるものである。このアプローチは、多くの実用的なアプリケーションにおいて、データセットの品質、関連性、カバレッジが、学習アルゴリズム自体の改良よりも最終的なモデル性能にとって決定的であると考える。この考え方は2010年代後半から2020年代前半にかけて、最先端のモデルが固定データセット上で頭打ちになる一方、データへの的を絞った介入が大きな改善をもたらすという観察に応える形で、明確なムーブメントとして出現した。
この哲学は、データを静的な入力として扱い、エンジニアリングの労力をモデルに集中させる従来のモデル中心の見方とは対照的である。データ中心AIは、データセットを動的で第一級の成果物として扱い、継続的なキュレーション、ラベリング、検証を必要とする。これには、ラベルエラーの特定と修正、重複や外れ値の除去、クラスバランスの確保、データ拡張戦略の設計などの活動が含まれる。このアプローチは、医療画像、自動運転、自然言語処理など、高品質なデータの取得コストが高く、データが乏しい、またはノイズの多い領域で特に重要である。
歴史的背景
データ中心の考え方のルーツは、特徴量エンジニアリングとデータ前処理が重要であると認識されていた初期の機械学習の実践に遡る。しかし、「データ中心AI」という明確な用語が注目を集めたのは2021年頃であり、アンドリュー・ンと彼のスタンフォードAIラボのチームによって広められた。ン氏は、コース、ワークショップ、Landing AIなどの企業の設立を通じて、この方法論を体系化するのに貢献した。このムーブメントはまた、ImageNetのようなベンチマークデータセットの作成など、データセットキュレーションに関する初期の学術研究からも影響を受けており、大規模で厳選されたコレクションが深層学習のブレークスルーを促進できることを実証した。
主要な原則と技術
データ中心AIは、いくつかの核となる原則に基づいて動作する。第一に、量よりもデータ品質：より小さくクリーンなデータセットは、より大きくノイズの多いデータセットよりも優れた性能を発揮することが多い。技術には、自動化および人間参加型のラベル検証、潜在的な誤ラベルをフラグするツールの使用、コンセンサスベースの再ラベリングが含まれる。第二に、データのカバレッジと多様性：データセットが、エッジケースを含む現実世界のシナリオの全分布を代表していることを保証し、モデルのバイアスや障害モードを防ぐ。これは、モデルが人間のレビューのために最も情報量の多いサンプルを特定する能動学習や、まれな例の的を絞った収集を通じて達成される。
第三に、データ拡張と合成：回転、クロッピング、画像へのノイズ注入、テキストの言い換えなどの変換を通じて新しいトレーニング例を生成する。高度な方法では、生成モデルを使用して合成データを作成するが、これには分布シフトのリスクが伴う。第四に、データのバージョニングと系統：コードのバージョニングと同様に、時間の経過に伴うデータセットの変更を追跡し、再現性を確保し、データ変更が性能を低下させた場合にロールバックを可能にする。DVC（Data Version Control）やlakeFSなどのツールがこれらのワークフローをサポートしている。
モデル中心アプローチとの関係
データ中心AIはモデルの革新を否定するものではない。むしろ、データに欠陥がある場合、モデルの改善は収穫逓減になると主張する。例えば、重複した文や事実誤認を含むウェブスクレイピングされたテキストでトレーニングされた大規模言語モデルは、注意深くフィルタリングされたコーパスでトレーニングされたより小さなモデルよりも低品質な出力を生成する。この2つのアプローチは補完的である：モデル中心の作業は新しいトランスフォーマーアーキテクチャを導入するかもしれないが、データ中心の作業はトレーニングセットが矛盾やバイアスから解放されていることを保証する。実際には、多くの組織がモデルとデータの両方を反復するハイブリッド戦略を採用しているが、データ中心AIは、データへの介入がしばしばより安価でより影響力が大きいことを強調している。
アプリケーションとケーススタディ
コンピュータビジョンでは、データ中心の技術が製造業の欠陥検出の改善に使用されており、まれな欠陥の数千枚のラベル付き画像は、何百万もの一般的な画像よりも価値がある場合がある。医療分野では、Commureやその他のスタートアップが電子健康記録にデータ中心の方法を適用し、構造化されていないデータをクレンジングおよび正規化して予測モデルをトレーニングしている。自動運転では、WaymoとTesla Autopilotがデータキュレーションに多額の投資を行い、トレーニングセットに最も情報量の多い運転シナリオを選択している。自然言語処理では、OpenAIやAnthropicなどの企業がデータフィルタリングと人間のフィードバックを使用してアライメント用のデータセットを改良しており、これはRLHFに関連するプロセスである。
批判と限界
批評家は、データ中心AIは時間と労力を要し、大規模な人間のアノテーションとレビューを必要とするため、フロンティアAIで使用される巨大なデータセットにはスケールしない可能性があると主張する。また、キュレーションされたデータへの過学習のリスクもあり、未知の分布への汎化が低下する可能性がある。さらに、このアプローチは、クラスの定義が時間とともに変化するラベルの曖昧さやコンセプトドリフトのような根本的な問題を解決しない。アレクサンダー・マドリーなどの一部の研究者は、データ中心の方法はデータ品質を測定するための厳密なフレームワークを必要とし、主観的な判断が新たなバイアスを導入する可能性があると指摘している。これらの課題にもかかわらず、このパラダイムは機械学習ライフサイクルの標準的な部分となり、多くのツールとベストプラクティスがAWS、Google Cloud、Azureなどの主流プラットフォームに統合されている。
今後の方向性
データ中心AIの未来は、おそらくデータ品質評価の自動化の進展を含み、モデル自体を使用して異常を検出し、修正を提案するようになるだろう。拡散モデルを使用した合成画像生成を含む、生成モデルによるデータ拡張の台頭は、活発な研究分野である。さらに、この分野は、データキュレーションパイプラインの客観的な比較を可能にするために、モデルベンチマークと同様の標準化されたデータ品質メトリクスとベンチマークに向かって動いている。AIシステムがより重要な領域に展開されるにつれて、信頼性が高く、十分に文書化されたデータへの強調はますます高まり、データ中心の原則はAIの責任ある開発の基礎となるだろう。