事前学習は、現代のAIモデルを訓練する最初の、そして典型的には最も計算コストのかかる段階であり、モデルが特定の下流タスクへの適応が行われる前に、汎用的な訓練目的を用いて大規模で一般的なコーパスから広範な統計的パターンを学習する。大規模言語モデルの場合、事前学習はほぼ常に自己教師あり学習を意味する。モデルには大量のテキストが与えられ、周囲の文脈に基づいてトークンを予測するよう訓練される。最も一般的なのは系列内の次のトークンを予測することで、「答え」が既存のテキスト内の単なる次の単語であるため、人間によるラベル付けを必要としない目的である。
事前学習が機能する理由
事前学習の背後にある洞察は、巨大で多様なコーパスにわたって次のトークンを正確に予測することが、モデルに文法、事実、推論パターン、さらには初歩的な世界知識を暗黙的に学習させることである。これらはすべて予測誤差を減らすのに有用だからだ。このように訓練されたモデルはベースモデルまたは基盤モデルと呼ばれ、さらなる適応が行われる前は、指示に従うアシスタントというよりも、高度に有能なテキスト補完エンジンとして動作する。基盤モデルという用語は、2021年にスタンフォード大学の研究者によって作られたもので、単一の事前学習済みモデルが、ファインチューニングや文脈内学習を通じて、多くの異なる下流アプリケーションの出発点として機能できるという事実を反映している。
規模とコスト
事前学習はスケーリング則によって支配されている。これは、訓練計算量、データ、パラメータが一緒に増加するにつれて、モデルの損失が予測可能に減少することを示す経験的関係であり、2020年にOpenAIの研究者によって確立され、2022年のDeepMindのChinchilla論文によって洗練された枠組みに従っている。この論文は、多くの初期のモデルがサイズに対して訓練不足であり、データとパラメータを一緒にスケールさせるべきだと主張した。最大のフロンティアモデルに対する事前学習は、数千のGPUまたはTPUを数週間から数ヶ月間稼働させ、数千万から数億ドルに上ると報告されるコストを消費し、Common Crawlやライセンス供与された、または独自のデータセットなどのソースから構築された訓練コーパスを必要とする。
事前学習から利用可能なアシスタントへ
新しく事前学習されたベースモデルは、会話型アシスタントとしてまだ適していない。プロンプトを統計的に可能性が高いと思われるスタイルで続けるだけで、質問に直接答えたり、安全でない要求を拒否したりはしない。ベースモデルをChatGPTやClaudeのような製品に変えるには、追加の事後訓練段階が必要であり、典型的には厳選された指示と応答のペアに対する教師ありファインチューニングと、それに続くRLHFや直接選好最適化などの選好アライメント段階が含まれる。それでも事前学習は、モデルの生の知識と能力の大部分を供給し、事後訓練は主にその能力がどのように表現され、制御されるかを形作る。
傾向と未解決の課題
事前学習はますます大量のテキストに依存しているため、研究者は「データの壁」、つまりスケーリング則が要求するものに対して高品質で人間が生成したテキストの供給が尽きる時点について懸念を提起しており、モデル自身が生成する合成データや、テキストに加えて画像、音声、ビデオを組み込むマルチモーダル事前学習への関心が高まっている。事前学習の目的も単純な次トークン予測を超えて多様化しており、一部のアプローチでは、BERTで使用されるマスク付きトークン予測やノイズ除去、CLIPに類似したマルチモーダル対比目的を組み込んでいる。これらの変種にもかかわらず、ウェブ規模のテキストに対する次トークン予測は、2020年代半ば時点で展開されている大規模言語モデルの大半の背後にある支配的な事前学習レシピであり続けている。