カリキュラム学習は、機械学習における手法の一つであり、モデルが難易度の増加する例を用いて訓練される。ここで「難易度」の定義は、外部から与えられる場合もあれば、訓練プロセスの一部として発見される場合もある。この手法は、より迅速に良好な性能を達成すること、または大域的最適解が見つからない場合により良い局所的最適解に収束することを目的としている。これは、人間や動物の学習から得られた直感的な考え方に基づいており、単純な問題から始めることで、より複雑なタスクに取り組む前に学習者の基礎を築くことができるというものである。
この手法は、現代の深層学習や人工知能において重要なツールとなっており、自然言語処理から自動運転まで幅広い応用がある。すべての問題がカリキュラム学習の恩恵を受けるわけではないが、様々な領域で成功を収めており、しばしば悪い局所最適解を回避する正則化の一種として機能する。核となる考え方は変わらない。すなわち、訓練データをランダムにまたは一度にすべて提示するのではなく、難易度の増加する順序で提示するというものである。
難易度の定義
カリキュラム学習における中心的な課題は、何が「簡単」で何が「難しい」例かを定義することである。これは、領域や利用可能なリソースに応じて、いくつかの方法で行うことができる。一般的なアプローチの一つは、人間によるアノテーションを用いる方法であり、専門家が例を複雑さに基づいてラベル付けする。例えば、大規模言語モデルの訓練では、短い文は長い文よりも簡単に分類されるかもしれない。あるいは、外部のヒューリスティックを用いて、単語の頻度、画像の解像度、シーン内のオブジェクト数などの特性に基づいて難易度スコアを割り当てることもできる。
もう一つのアプローチは、別のモデルの性能を用いて難易度を自動化する方法である。事前学習済みモデルが正確に予測できる例は簡単とみなされ、誤分類される例は難しいとみなされる。この方法は、弱学習器を誤りに焦点を当てて組み合わせるブースティングと密接な関係がある。難易度は、訓練中のモデル自身の個々の例に対する損失を追跡することによって動的に測定することもでき、これは自己ペース学習戦略につながる。
難易度の定義のバリエーションは、結果に大きく影響する可能性がある。例えば、画像認識では、モデルは正方形や円などの単純な形状を最初に学習し、その後、重なり合うオブジェクトを含む複雑なシーンに進むかもしれない。強化学習では、ゲームの敵の数を減らしたり、障害物を除去したりして単純化し、エージェントが基本を学習するにつれて、徐々に完全な環境を復元することができる。
スケジューリング戦略
難易度が定義されたら、次のステップはそれを増加させるスケジュールを決定することである。単純なアプローチでは、固定スケジュールを用いる。例えば、訓練の最初の半分では簡単な例のみを提示し、後半ではすべての例を混ぜて提示する。これは効果的ではあるが、モデルがまだ対処できない難しい例を時期尚早に導入する可能性がある。
より適応的な方法は、しばしば自己ペース学習と呼ばれ、モデルの現在の性能に基づいて難易度を増加させる。モデルが簡単な例で高い精度を達成した場合、アルゴリズムは自動的により難しい例を導入する。性能が低下した場合には、より簡単なデータに戻ることもある。これにより、学習と忘却の間で動的なバランスが取れる。別のバリエーションでは、確率的スケジュールを用い、時間の経過とともに難しい例に焦点が当たるような分布から例を抽出する。
各段階における多様性も重要である。簡単な例が互いに不釣り合いに類似しているデータセットでは、類似性のみを報酬とするカリキュラムはモデルの過剰特化を引き起こす可能性がある。これを避けるために、いくつかの戦略では、各ミニバッチに様々な難易度の例が含まれることを明示的に保証している。これは、データセットに固有のバイアスが存在することが多いコンピュータビジョンや自然言語処理などの分野で特に重要である。
理論的考察
カリキュラム学習は、転移学習の考え方と密接に関連している。すなわち、簡単な例から学習したモデルは、より難しい例に一般化できるという仮定に基づいている。例えば、基本的な幾何学的形状の識別を学習した後、モデルはより単純な形状から構成されるボートや自動車の識別をより容易に学習できる。この意味で、簡単な例は帰納またはプライミングの一種を提供し、難しい例は新しいパターンを導入する。
この手法は、複雑なデータを徐々に導入することで過学習のリスクを低減するため、正則化の一種と見なされることもある。2009年のYoshua Bengioらによる初期の研究では、カリキュラム学習が特にテストセットでの一般化を改善することが示された。ただし、この効果は常に肯定的であるとは限らない。いくつかのタスクでは、最初に最も難しい例を提示する反カリキュラム学習が、特に最終的な目的が簡単なバージョンと大きく異なる場合に、従来のカリキュラムよりも優れた性能を発揮することがある。
根本的な原理は、小さく始めることで、モデルがノイズや複雑な詳細に絡まることなく一般的な原理を学習できるというものである。これは、人間の認知学習を反映しており、子供たちは代数を解く前に、まず数字や文字のような単純な概念を学ぶ。一部の研究者は、カリキュラム学習が多くのアーキテクチャにおいて収束速度と最終的な精度の両方を一貫して改善する数少ない訓練手法の一つであると示唆している。
自然言語処理への応用
自然言語処理では、カリキュラム学習は品詞タグ付け、意図検出、感情分析、機械翻訳などのタスクに応用されている。例えば、機械翻訳では、短く単純な文から始め、徐々に文の長さや言語的複雑さを増加させることができる。品詞タグ付けでは、モデルはまず単純な英文で訓練され、その後、まれな文法構造を含むより大規模なコーパスに進むことができる。
大規模言語モデルも、カリキュラム学習を用いた事前学習の恩恵を受けている。いくつかのアプローチでは、文の長さやまれな単語の頻度に基づいて訓練コーパスを並べ替える。これにより、モデルは構文や基本的な意味論をより安定した方法で獲得できる。感情分析では、明確な肯定的な単語を含む映画レビューのような簡単な例から始め、皮肉や曖昧な言語を含む難しい例へと進むことができる。カリキュラム学習は、特にファインチューニングと組み合わせた場合に、ベンチマークでの訓練の高速化と性能向上につながることが示されている。
音声認識でも、カリキュラム学習が使用されている。例えば、信号対雑音比が最も低い音声サンプルから始めるのではなく、最初にクリーンな音声を提示し、徐々にノイズを増加させる。これは、ノイズの多い音声タスクにおける反カリキュラムの例でもある。最適な順序はタスクの種類やノイズの性質によって異なることが示されている。
コンピュータビジョンへの応用
画像認識タスクは、カリキュラム学習から大きな恩恵を受ける。顔認識では、モデルはまず正面を向いた明るい照明の顔を学習し、その後、側面からの角度や影、マスクなどの難易度の高いバリエーションに進むことができる。物体検出では、単一のオブジェクトを含む画像から始め、その後、多くのオブジェクトが重なり合う複雑なシーンへと進むことができる。このように段階的に複雑さを増すことで、モデルは視覚的な複雑さに圧倒されることなく、基本的な特徴を学習できる。
2009年のBengioらの古典的な論文では、幾何学的形状の分類において、カリキュラム学習がどのようにして正方形と三角形の区別から始め、その後、重なり合う形状へと進むかを示した。MIT-CSAILやStanford AI Labなどの画像データセットを用いた初期の実験では、カリキュラム学習が収束を改善し、最終的な精度を向上させることが実証された。それ以来、カリキュラム学習は多くのビジョンツールキットにおいて標準的なオプションとなっている。
強化学習とその先へ
カリキュラム学習は、強化学習と組み合わせて使用されることが多く、エージェントはゲームの単純化されたバージョンで訓練される。例えば、ロボットは障害物のない空の部屋で物体をつかむことを学習し、その後、散らかった環境へと進む。ゲームプレイでは、エージェントはまず弱い対戦相手や短い制限時間でプレイし、徐々に難易度を上げていく。これは、チェスコンピュータや他のビデオゲームで一般的な手法である。
この方法は、グラフ学習や行列分解など、他の領域にも応用できる。モデルのパラメータ数自体を変化させることも可能であり、ニューラルネットワークの層数をカリキュラムの一部として徐々に増加させることができる。機械翻訳や質問応答などの大規模モデルも、同じ考え方の恩恵を受ける。
歴史と影響
「カリキュラム学習」という用語は、2009年にYoshua Bengioらによって導入され、心理学的な技法であるシェイピングや人間の構造化された教育との類似性が指摘された。彼らはまた、1993年にジェフリー・エルマンがニューラルネットワークにおいて小さく始めることの重要性を指摘した初期の研究も認めている。それ以来、この手法は多くの分野で探求され、適切に設計されたカリキュラムが効率と最終性能の両方に利益をもたらすことが調査で示唆されている。
今日、カリキュラム学習は学術研究だけでなく、実用的な深層学習でも広く使用されている。大規模モデルのデータパイプラインに統合され、多くのオープンソースライブラリがサンプルスケジューリングをサポートしている。ただし、万能の解決策ではない。設計が不適切なカリキュラムは、一部のタスクでは利益をもたらさないか、むしろ害を及ぼす可能性がある。カリキュラムの選択とそのスケジュールは、モデルの動作に基づいて自動的にカリキュラムを構築する研究が進行中であり、依然として活発な研究分野である。
大規模事前学習の時代において、データ量の増加に伴い、例の順序付けはますます重要になっている。テラバイト規模のデータでは、適切なカリキュラムが訓練コストを削減し、モデルが重要な特徴に焦点を当てるのに役立つ。その結果、カリキュラム学習は、今後も生成AIおよびそれ以降の進歩における重要な要素であり続ける可能性が高い。