探索と活用のトレードオフは、探索と活用のジレンマとも呼ばれ、多くの領域にわたって現れる意思決定における基本的な概念である。これは、現在の知識（不完全または誤解を招く可能性がある）に基づいて最良の選択肢を選ぶ活用と、即時の報酬を犠牲にして将来のより良い結果につながる可能性のある新しい選択肢を試す探索という、対立する2つの戦略のバランスを取ることを含む。最適なバランスを見つけることは、意思決定問題における長期的な利益を最大化するために重要である。
機械学習において、このトレードオフは強化学習（RL）の基盤であり、エージェントは不完全または遅延したフィードバックから意思決定を学習する。エージェントは、現在最もよく知られている方策を活用するか、パフォーマンスを向上させるために新しい方策を探索するかを決定しなければならない。このジレンマは、単純なバンディット問題から複雑な実世界システムまで、さまざまな形で現れる。
多腕バンディット手法
多腕バンディット（MAB）問題はこのトレードオフの古典的な例であり、これに対処するために多くの手法が開発されてきた。一般的なアプローチには、イプシロン・グリーディ、トンプソンサンプリング、および上信頼境界（UCB）が含まれる。イプシロン・グリーディでは、エージェントはほとんどの場合最もよく知られている行動を活用するが、確率イプシロンでランダムな行動を選択し、継続的な探索を保証する。UCBは、高い上信頼境界を持つ行動を選択することで探索と活用のバランスを取り、報酬が不確かな行動を優先する。トンプソンサンプリングはベイズ推論を使用して事後分布からサンプリングし、2つの戦略を自然にバランスさせる。
より複雑なRLシナリオでは、各決定をMABとして扱うことができ、ペイオフは期待される将来の報酬である。例えば、チェスや囲碁などのゲームで使用されるモンテカルロ木探索は、UCBの変種を使用して探索を導く。これらの手法は、OpenAIやGoogle DeepMindによって開発されたものを含む人工知能システムに広く適用されている。
探索の問題
いくつかの課題が、実際の探索を困難にしている。スパース報酬は、報酬がまれな場合に発生し、例えばアタリゲームのモンテズマの復讐では、エージェントがガイダンスの欠如により探索を続けない可能性がある。欺瞞的報酬は、初期の行動が小さな即時報酬をもたらすが、後のより大きな報酬から注意をそらし、エージェントをより良い戦略から遠ざける場合に生じる。ノイジーTV問題は、特定の観測が本質的にランダムであり、エージェントを非生産的な探索に閉じ込める状況を説明しており、これは静電気のあるテレビを見ることに似ている。
これらの問題は、深層学習やニューラルネットワークトレーニングで一般的な大規模な行動空間において、洗練された探索戦略の必要性を浮き彫りにしている。
探索報酬手法
探索報酬（または探索ボーナス）手法は、探索を別の報酬の形として扱うことで、ジレンマを活用のバランスに変換する。エージェントは、内発的報酬（探索から）と外発的報酬（環境から）の合計を最大化する。内発的報酬は外発的報酬とは異なり自由に設計され、通常は非定常であり、状態が馴染み深くなるにつれて減少する。
カウントベースの探索は、状態への訪問回数を使用してボーナスを計算するが、これは小さく離散的な状態空間でのみ実行可能である。密度ベースの探索は、密度モデルを使用して訪問回数を近似し、近傍の状態への一般化を可能にする。最大エントロピー探索は、エージェントの方策のエントロピーを内発的報酬として含め、確率的な行動とより広いカバレッジを促進する。
予測ベースの探索
予測ベースの手法は、現在の状態と行動から次の状態を予測する前方ダイナミクスモデルを使用する。モデルはエージェントが相互作用するにつれてトレーニングされ、頻繁に訪問される状態行動ペアの予測を改善する。探索報酬は、予測された次の状態と実際の次の状態の差など、予測誤差として定義される。これにより、エージェントはモデルが不正確な状態を求めるよう促され、新しい経験の発見が促進される。
このアプローチは好奇心駆動学習に関連しており、生成AIや大規模言語モデルでエージェントをトレーニングするために使用されるものを含む、さまざまなRLフレームワークで探求されてきた。
応用と影響
探索と活用のトレードオフは、RLを超えて、オンライン広告、臨床試験、レコメンデーションシステムなどの分野に及ぶ。Amazon Web ServicesやAzureでは、バンディットアルゴリズムがリソース割り当てとユーザーエンゲージメントを最適化する。AI研究では、スタンフォードAIラボやバークレーAIリサーチの研究に見られるように、堅牢なモデルのトレーニングに探索と活用のバランスが重要である。
このトレードオフは、個人の選択から組織戦略まで、人間の意思決定にも影響を与える。これを理解し対処することは、カリキュラム学習やRLHFにおける継続的な開発により学習効率と成果の質を向上させる、活発な研究分野であり続けている。