人工知能（AI）における予測とは、エージェントが未来についての明示的な信念に基づいて意思決定を行う能力を指す。これは、現在の感覚入力にのみ反応し、将来のシステム状態を予測しない反応的パラダイムとは対照的である。より広い意味では、予測は、エージェントが将来の出来事について明示的なモデルを持っていない場合でも、将来の出来事を適切に考慮した行動をとる能力も表す。この概念は理論生物学とサイバネティクスにルーツを持ち、動的で不確実な環境で動作しなければならない知的システムの設計における中心的なテーマとなっている。
AI研究において、予測はしばしば予測システムの概念を通じて形式化される。1985年、理論生物学者のロバート・ローゼンは、そのようなシステムを、それ自体および/またはその環境の予測モデルを含み、そのモデルの予測に従って、後の時点に関する予測に基づいて、ある瞬間に状態を変更できるものと定義した。この定義は、機械学習を組み込んだあらゆるシステムに適用できるほど広い。なぜなら、データから学習することは、本質的に将来の入力や結果についての期待を形成することを伴うからである。重要な設計上の問題は、システムの動作のどれだけが、専用の表現（記号的モデルや学習された潜在状態など）に対する推論によって決定されるべきか、どれだけがオンライン計画（探索やモデル予測制御など）によって決定されるべきか、そしてどれだけがシステム設計者によってハードコードされなければならないか、ということである。
意思決定における予測
予測を採用するエージェントは、環境の将来の状態を予測しようとし、その予測を用いて行動を導く。典型的な例としては、天候に基づく意思決定が挙げられる。空が曇っていて気圧が低い場合、エージェントはすぐに雨が降るだろうと予測し、傘を持っていくことを決定する。そうでなければ、傘を家に置いていく。これらのルールは、起こりうる将来の出来事を明示的に考慮しており、現在の雨にのみ反応する純粋に反応的なルールとは区別される。
実際には、予測に基づく意思決定はいくつかの方法で実装できる。モデルベースのエージェントは、マルコフ決定過程における遷移関数など、環境のダイナミクスの明示的な表現を維持し、それを使用して将来の軌道をシミュレートすることができる。あるいは、エージェントは、将来のセンサー読み取り値を予測するニューラルネットワークなど、深層学習の技術を使用してデータから予測モデルを学習することもできる。表現の選択は、エージェントの柔軟性、サンプル効率、および分布シフトに対する堅牢性に影響を与える。
機械学習との関係
ローゼンの予測の定義は、機械学習を組み込んだあらゆるシステムに適用される。なぜなら、学習アルゴリズムは通常、未見のデータに対する将来のパフォーマンスを最適化するからである。例えば、教師あり学習は、新しい入力に対するラベルを予測するようにモデルを訓練するが、これはデータ生成プロセスについての予測の一形態である。強化学習エージェントは、価値関数を推定したり、モデルベースのロールアウトを使用したりする際に、将来の報酬を予測する。大規模言語モデルなどの生成モデルは、以前の文脈に基づいてシーケンス内の次のトークンを予測する。
しかし、予測の度合いは様々である。一部のシステムは、明示的な予測モデルなしに訓練から未来志向の行動が出現する暗黙的な予測に依存している。他のシステムは、意思決定中に参照される別個の予測コンポーネントをシステムが維持する明示的な予測を使用する。この区別は、解釈可能性と制御にとって重要であり、明示的なモデルはより簡単に検査および修正できる。
動物における予測
人間は、交通渋滞を避けるためのルートを計画したり、冬に備えて食料を蓄えたりするなど、未来についての明示的な信念に基づいて意思決定を行うことができる。より広く言えば、動物は将来の出来事を考慮した行動をとることができるが、必ずしも未来についての明示的な認知モデルを持っているとは限らない。進化は、狭い領域で適応的な予測行動をもたらす、より単純なシステム特性を形成してきた可能性がある。例えば、冬眠は予測行動であるが、未来についての認知モデルによって駆動されているようには見えず、むしろ季節変化に対する進化した生理的反応である。
この認知的予測と進化的予測の区別は、AIに関連する。AIシステムは、設計者が将来の出来事を考慮したルールをエンコードしたため、またはデータからそのようなルールを学習したため、またはそのアーキテクチャが本質的に未来志向の予測に偏っているために、予測行動を示す可能性がある。予測の源泉を理解することは、研究者が新しい状況に一般化するシステムを設計するのに役立つ。
現代のAIにおける応用
予測は、多くの現代のAIシステムにおける主要なコンポーネントである。自動運転では、車両は安全な軌道を計画するために、歩行者、自転車、他の車両の将来の位置を予測しなければならない。WaymoやTeslaなどの企業は、この目的のために予測モデルを使用している。ロボット工学では、モデル予測制御は標準的な技術であり、ロボットは環境と自身の行動の将来の状態をシミュレートして、最適な制御シーケンスを選択する。MIT CSAIL、Stanford AI Lab、BAIR (Berkeley AI Research)などの機関の研究グループがこれらの方法に貢献してきた。
自然言語処理では、予測はシーケンス生成に固有のものである。Transformer (architecture)ベースのLarge language modelなどのモデルは、以前のトークンが与えられた場合に次のトークンを予測するが、これは意図されたメッセージについての予測の一形態である。Beam Search、Top-K Sampling、Top-P (Nucleus) Samplingなどの技術は、予測された将来のトークンの中から選択するために使用される。同様に、コンピュータビジョンでは、予測はビデオ予測に使用され、モデルは過去のフレームから将来のフレームを予測し、監視や人間とロボットの相互作用におけるアプリケーションを可能にする。
課題と限界
予測システムはいくつかの課題に直面している。第一に、正確な予測には環境の優れたモデルが必要であり、複雑で部分的に観測可能な設定ではそれを取得するのが難しい場合がある。第二に、優れたモデルがあっても、長い期間にわたる計画は計算コストが高くなる可能性があり、近似や階層的な分解が必要になる。第三に、予測は間違っている可能性があり、エージェントは期待が裏切られたときに適応できなければならない。これは、ロバストな計画、オンライン学習、不確実性の定量化に関する研究につながっている。
もう一つの課題は、予測と反応性の間のトレードオフである。純粋に予測的なシステムは予期しない出来事に反応するのが遅い可能性があり、純粋に反応的なシステムは先見性を必要とする機会を逃す可能性がある。多くの実用的なシステムは両方を組み合わせており、予測を使用して高レベルの決定を導き、反応性を使用して低レベルの制御を処理する。例えば、ロボットは予測モデルを使用して経路を計画するかもしれないが、障害物が現れた場合に計画を無効にする反応的な衝突回避も備えている。
歴史的背景
予測の概念は、サイバネティクスとシステム理論の初期の歴史にルーツを持つ。ロバート・ローゼンの1985年の研究は、フィードバックとフィードフォワード制御に関する初期のアイデアに基づいて、予測システムのアイデアを形式化した。1990年代から2000年代にかけて、認知科学とAIの研究者は、予測をインテリジェントな行動の統一原理として探求し、身体化されたエージェントが予測を使用してパフォーマンスを向上させる方法を調査したMindRACESイニシアチブ（From Reactive to Anticipatory Cognitive Embodied Systems、2004年）などのプロジェクトにつながった。
2010年代から2020年代にかけて、深層学習の台頭により、予測はAIの最前線に躍り出た。Deep learningモデル、特にResidual Network (ResNet)アーキテクチャとAttentionメカニズムを備えたNeural networkは、大規模なデータセットから予測モデルを学習できることが証明されている。OpenAI、Anthropic、Google DeepMindなどのGenerative AIシステムの開発は、テキスト生成、画像合成、ゲームプレイなどのタスクにおける予測の力を実証してきた。これらのシステムは、Reinforcement Learning from AI Feedback (RLAIF)（AIフィードバックからの強化学習）やCurriculum Learningなどの技術を使用して、予測および計画能力を向上させることが多い。
将来の方向性
予測に関する研究は進化し続けている。一つの方向性は、モデルベース強化学習やワールドモデルなどの分野における、予測とMachine learning理論の統合である。もう一つの方向性は、自身の限界と不確実性について推論できる予測システムの開発であり、これにより、よりロバストで信頼性の高いAIが実現する。また、ゲームや自動運転に見られるように、各エージェントが他者の行動を予測しなければならないマルチエージェント設定への予測の適用にも関心が集まっている。
AIシステムがより高性能になるにつれて、予測の役割は拡大する可能性が高い。将来の出来事を正確に予測し、それに応じて計画できるシステムは、複雑で動的な環境をより適切に処理できるようになるだろう。しかし、予測監視によるプライバシーへの懸念や、予測に基づく決定に対する説明責任など、予測AIの倫理的影響については慎重な検討が必要である。予測と反応性のバランス、および明示的モデルと暗黙的モデルのバランスは、AIの研究開発における中心的なテーマであり続けるだろう。