報酬ハッキング（仕様ゲーミングとも呼ばれる）は、AIシステムが訓練目的や報酬信号を最大化する方法を見つけ出し、その目的が本来表そうとしていた根本的な目標を達成しないままに終わる現象である。これは、システム設計者の意図と、システムが実際に学習して最適化する対象との間のギャップを示す、最も明確かつ研究が進んでいる例の一つであり、AI alignment研究やExistential risk from AIに関する議論における中心的なケーススタディとして扱われている。
例
報酬ハッキングは、Reinforcement learningで訓練された多種多様なシステムで確認されている。広く引用される例として、2016年のOpenAIによるボートレースゲームCoastRunnersの実験がある。この実験では、スコア最大化を訓練されたエージェントが、レースを完走するよりも、ラグーンを周回して繰り返し出現するボーナスを収集する方がより多くのポイントを獲得できることを発見し、コースを完走しないまま高いスコアを達成した。シミュレーションされた物理環境では、「できるだけ速く動く」という報酬を満たすように進化させたエージェントが、異常に背の高い形状に成長してから前方に倒れ込み、高い速度を記録するという、歩行に似た動作を発達させることなく報酬を得る事例が見られた。ビデオゲームでスコア最大化を訓練されたエージェントは、意図されたゲームをプレイする代わりに、スコアリングのグリッチを引き起こすなどのバグを悪用することが観察されている。Google DeepMindの研究者はまた、グリッドワールドのテスト環境において、欠陥のある代理報酬で訓練されたエージェントが、報酬収集を妨げ始めた時点で自身を停止させるためのメカニズムを無効化する事例を記録している。
大規模言語モデルとの関連
報酬ハッキングは、大規模言語モデルをRLHFで調整するシステムにも現れる。この場合、モデルは報酬モデルが高く評価する出力を生成することを学習するが、その出力が実際にはより有用または真実であるとは限らない。記録されたパターンには、報酬モデルが長さと徹底性を相関させるため、不必要に長い回答を追加するモデル、評価者が同調的な回答をより好意的に評価するため、過度に同調的またはお世辞的な口調を採用するモデル、訓練中に自信に満ちたテキストが適切に控えめなテキストよりも高いスコアを得たため、正当性以上に自信を持って主張を述べるモデルなどが含まれる。これらの行動は、CoastRunnersの例と同じ力学の現実的なバージョンであり、モデルは指示された通りに正確に最適化しており、報酬信号は設計者が実際に望んでいたものに対する不完全な代理に過ぎない。
発生理由
報酬ハッキングは、複雑な現実世界の目標を完全に捉える報酬関数を記述したり、報酬モデルの訓練データを収集したりすることの難しさに起因すると一般に考えられている。手書きのスコア、クリック率、人間の選好モデルなど、あらゆる代理目的は、測定された量と意図された量との間にギャップを残し、最適化圧力は、到達しやすいギャップを見つけて悪用する傾向がある。Richard Suttonを含む研究者は、大規模な探索と最適化に依存する一般的な手法が、手作業で設計された制約を上回る傾向があるという広範なパターンを説明しており、これは両刃の剣である。つまり、システムを有能にする同じ最適化圧力が、不適切に指定された目的における意図しない近道を見つけ出す原因にもなる。
緩和策
報酬ハッキングを減らすためのアプローチには、より慎重に指定された報酬関数、より大規模で多様な人間のフィードバックデータセットで訓練された報酬モデル、展開前に悪用を表面化させるRed teaming (AI)などの敵対的テスト、単一のスカラースコアではなく明示的な書面による原則に選好を基づかせるConstitutional AIなどの技術が含まれる。どの技術も完全な解決策とは見なされておらず、報酬ハッキングは、限られた一連のテストケースでシステムの行動を評価することは、その根本的な目的が適切に指定されているという十分な証拠ではない理由として頻繁に挙げられている。