トレーニングデータとは、機械学習モデルを教えるために使用される事例の集合体であり、モデルはトレーニングプロセス中にそこから統計的パターンを学習する。現代の大規模言語モデルにとって、トレーニングデータは通常、公開ウェブから収集された膨大な量のテキスト、ライセンス取得済みデータセット、書籍、コードリポジトリ、そしてますます増加している他のモデルによって生成された合成データで構成され、このデータの規模、多様性、品質は、モデルサイズや計算量と並んでモデルの能力を左右する主要な要因の一つとなっており、これはスケーリング則によって説明されている。
トレーニングデータの構成と調達は、2023年頃から法的、倫理的、ビジネス上の重大な論点となった。著者、アーティスト、出版社、その他の権利者が著作権物の使用をめぐってAI開発者を訴える訴訟を起こし、また、容易に収集できる高品質なテキストが、ますます大型化するモデルのデータ需要に対して相対的に希少になっていったためである。
ソースと構成
大規模言語モデルのトレーニングコーパスは、通常、多様なソースから構成される。Common Crawlのような広範なウェブクロール、GPT-3とその後継モデルの背後にあるデータセットのような厳選・フィルタリングされたウェブサブセット、デジタル化された書籍、Wikipediaやその他の参考サイト、GitHubなどのリポジトリからのプログラミングコード、学術論文、そして出版社、ストックメディア企業、その他の権利者との商業契約を通じて取得されたライセンスコンテンツである。このライセンス慣行は、ライセンス未取得のスクレイピングに代わる手段として、2023年以降、主要な研究所の間で大幅に拡大した。データは一般的に重複排除され、品質と有害性についてフィルタリングされ、コード、教科書、推論密度の高いテキストなどの高価値カテゴリに向けて重み付けまたはアップサンプリングされることが増えており、これはデータの品質と構成が生の量と同じくらい重要であることを示す研究を反映している。
データの壁
2024年から2025年にかけて、複数の研究者や研究所のリーダーが、近づきつつあるデータの壁について公に議論した。公開インターネット上にある高品質で容易に入手可能な人間生成テキストの有限な供給量（数十兆トークンと推定される）が、最大規模のモデルのトレーニング実行によって接近または超過されつつあったのである。提案された対応策には、合成データの利用拡大、アーカイブ、プライベートフォーラム、ビデオ文字起こしなど、これまでスクレイピングに利用できなかったデータのライセンス契約、テキストだけでなく画像、音声、動画からもシグナルを引き出すマルチモーダルトレーニング、そしてテスト時計算スケーリングを含む、事前トレーニングデータの比例的な増加なしに能力を引き出すことを目的としたアーキテクチャ的・アルゴリズム的アプローチが含まれる。
法的・倫理的論争
トレーニングデータの慣行は、2023年以降に提起された一連のAI著作権訴訟の中心となっている。これには、ニューヨーク・タイムズ紙、著者グループ、視覚アーティスト、音楽レーベルがOpenAI、Meta、Stability AI、Midjourneyなどの企業に対して提起した訴訟が含まれ、一般的に著作権物が許可や報酬なしにモデルのトレーニングに使用されたと主張する一方、被告側は一般的に、トレーニングはAIと著作権法の下でフェアユースまたは同等の法理を構成すると主張している。別途、研究者やジャーナリストは、一部のトレーニングデータセットに同意なしに収集された個人データが含まれていることを文書化しており、画像モデルに使用されるLAIONデータセットに関わる少なくとも一つの文書化された事例では、緊急の是正措置を必要とする違法な素材が含まれていた。これにより、データセットのキュレーションと開示の慣行に対する監視が強化され、EU AI法を含む規制当局が文書化要件をますます課す分野となっている。