ファインチューニングとは、すでに訓練済みのモデル、通常は事前学習中に大規模で汎用的なデータセットで訓練されたモデルを、より小さく特定のデータセットで訓練を継続し、特定のタスク、領域、またはスタイルに適応させる手法である。この技術は転移学習の前提に基づいている。すでに画像からの視覚的特徴やテキストからの言語パターンなど、広範な統計的構造を学習したモデルは、同程度の品質のモデルをゼロから訓練する場合と比較して、特殊化に必要な追加データと計算が比較的少なくて済む。
歴史
ファインチューニングは、2012年のImageNetの画期的な成果の後、コンピュータビジョンにおける標準的な手法となった。研究者らは、ImageNetで訓練された畳み込みネットワークが、最終層の軽度な再訓練のみで、より小さく無関係な画像分類タスクにもうまく転移することを発見した。自然言語処理では、この手法は2018年のBERTによって新たな重要性を帯びた。その「事前学習してからファインチューニングする」というパラダイムは、単一の事前学習済みエンコーダを感情分析や質問応答などの多くの下流タスクに適応させるもので、数年にわたり支配的なワークフローとなった。大規模な大規模言語モデルの台頭に伴い、ファインチューニングは狭い分類タスクへのモデル適応から、指示ファインチューニングへと移行した。これは、次のトークンを予測するためだけに訓練されたベースモデルを、指示と望ましい応答の厳選された例で調整し、役立つアシスタントとして振る舞わせるもので、ChatGPTなどのシステムの訓練に使用されるステップである。
手法
フルファインチューニングはモデルの全パラメータを更新し、最大規模のモデルでは、すべての重みに対する勾配とオプティマイザの状態を保存する必要があるため、かなりの計算リソースとメモリを必要とする。このコストが、元のモデルの大部分を凍結し、少数の追加パラメータのみを訓練するパラメータ効率的なファインチューニング手法の開発を促した。最も広く採用されているのはLoRAで、モデルの層に小さな低ランク行列を挿入し、それのみを訓練することで、メモリ要件を劇的に削減しつつ、多くのタスクでフルファインチューニングに近い結果を達成する。その他のアプローチには、アダプタ層、プロンプトチューニング、プレフィックスチューニングがあり、それぞれ柔軟性と効率性の異なるトレードオフを提供する。
教師ありファインチューニング（SFT）は、ラベル付きの入力と出力のペアでモデルを訓練し、ベースのLLMを指示追従型アシスタントに適応させる標準的な最初のステップである。これに続いて、RLHFや直接選好最適化などの選好ベースの手法が用いられることが多く、単一の正解ラベルではなく、2つの出力のどちらが優れているかに関する人間の判断を用いて、モデルの挙動をさらに洗練させる。
ファインチューニングと他のアプローチの比較
ファインチューニングは、モデルがより正確または専門的な出力を生成するようにする方法として、検索拡張生成と頻繁に比較される。ファインチューニングはモデルの内部の重みを変更し、一貫したスタイル、形式、または専門的なスキルを教えるのに適している。一方、検索は推論時にモデルを変更せずに関連する事実を提供するため、ソース情報の変化に応じて更新しやすく、モデルの一般的な能力を上書きするリスクが低い。実際には、この2つはしばしば組み合わされ、ファインチューニングされたモデルが取得された文書を根拠として呼び出す。
リスク
狭いデータセットでのファインチューニングは、破滅的忘却を引き起こす可能性があり、モデルが適応前に持っていた一般的な能力を失うことがある。また、小さなファインチューニングセットへの過学習は、特にモデルの容量に対してサンプル数が少ない場合に、持続的なリスクとなる。フィルタリングされていない、または質の低いデータでのファインチューニングは、モデルの安全性訓練を弱めることも示されており、この懸念から、プロバイダは最も高性能なモデルへのファインチューニングアクセスを制限または監視するようになっている。