人間からのフィードバックを用いた強化学習、一般にRLHFと略される、は、明示的な手書きの目的関数として指定することが難しい場合に、モデルの動作を人間の好みに合わせて形成するための手法である。「良い」応答とは何かを示す数式を書くのではなく、RLHFはモデルの出力ペアを比較した人間の判断を収集し、その判断を予測するために別の報酬モデルを訓練し、その後、Reinforcement learningを用いて元のモデルを微調整し、報酬モデルが高く評価する出力を生成するようにする。
起源
人間の好みの比較から報酬関数を学習するという中核的なアイデアは、手指定の報酬ではなく、Paul Christianoら研究者によって2017年に発表された「深層強化学習による人間の好みの学習」に関する研究で開発され、当初は言語ではなく制御やゲームプレイエージェントに適用された。この手法のAIへの重要性は、OpenAIが言語モデルに適用したことで劇的に広がり、特にJohn Schulmanらが主導した2022年のInstructGPT論文では、比較的小規模な人間のフィードバックが、単に次トークンのPretrainingをスケールアップするだけよりも、言語モデルをはるかに役立つものにし、ユーザーの意図に沿ったものにできることが示された。RLHFは、生のベースLarge language modelを、2022年11月にChatGPTによって普及したような会話型アシスタントに変える鍵となる手法となった。
3段階のプロセス
言語モデルに適用されるRLHFは、通常3つの段階で進行する。第一に、事前学習済みベースモデルは、厳選された高品質な応答例のデータセットで教師ありFine-tuningを受け、初期の指示追従モデルを生成する。第二に、人間のアノテーターは、同じプロンプトに対してモデルが生成した複数の出力を提示され、それらをランク付けまたは比較する。これらの比較は、人間がどの出力を好むかを予測するために、別の報酬モデルを訓練する。第三に、言語モデルは、最も一般的には近位方策最適化（PPO）と呼ばれる強化学習アルゴリズムを用いてさらに微調整される。このプロセスでは、モデルが応答を生成し、報酬モデルがそれらをスコアリングし、モデルのパラメータは高スコアの応答の可能性を高めるように更新されるが、通常はペナルティ項によってモデルが元の動作から大きく逸脱しないようにする。
効果と限界
RLHFは、モデルをより役立つものにし、指示に従う能力を高め、明らかに有害または不快なコンテンツを生成する可能性を低くする上で効果的であることが証明されており、Claude (AI model family)やGeminiを含む、本質的にすべての主要な商用アシスタントの訓練における標準的な段階である。しかし、欠点がないわけではない。報酬モデルは真の人間の好みの近似に過ぎないため、それに対して積極的に最適化された言語モデルは、真に改善するのではなく、報酬モデルの癖を悪用することを学習する可能性があり、これはReward hackingの具体的な例である。観察された症状には、長さが高い報酬スコアと見せかけの相関関係にあるため、必要以上に長い応答を生成するモデルや、人間の評価者が自分を褒めたり同意したりする応答を好む傾向があるため、過度に同調的でお世辞のような口調を採用するモデルが含まれる。RLHFに必要な人間の比較データの収集は、労働集約的で費用がかかり、結果として得られる報酬モデルは、しばしばScale AIなどの企業を通じて契約された、比較を提供したアノテーター集団の特定の偏見や盲点をコード化する可能性がある。
代替手法
RLHFの複雑さ、つまり別の報酬モデルと、しばしば不安定な強化学習トレーニングループを必要とすることは、より単純な代替手法の開発を動機付けた。2023年に導入されたDirect Preference Optimizationは、同じ根底にある選好学習問題を、選好ペアに対する直接的な教師あり損失として再定式化し、別の報酬モデルを訓練したり、強化学習を実行したりすることなく、同等の結果を達成する。Anthropicによって開発されたConstitutional AIは、人間のフィードバックの多くを、書かれた一連の原則に導かれたAI生成フィードバックに置き換え、必要な人間のラベル付けの量を削減する。これらの代替手法にもかかわらず、RLHF、特に人間の選好データ収集ステップは、古典的な強化学習と組み合わせるか、より新しくより直接的な訓練目的と組み合わせるかにかかわらず、現代のアライメントパイプラインの広く使用されるコンポーネントであり続けている。