帰納バイアスとは、機械学習アルゴリズムが観測された訓練データから未知の事例へ一般化するために行う仮定の集合である。機械学習において、学習は本質的に不良設定問題であり、与えられた有限の例に適合する関数は多数存在する。帰納バイアスはこの可能な仮説空間を狭め、一部を優先することで、アルゴリズムが新しい入力に対する予測を生成することを可能にする。このようなバイアスがなければ、モデルは無数の整合的な関数の中から選択する原理的な根拠を持たず、一般化は不可能になる。
この概念は古典的な哲学や統計学にルーツを持つが、1980年代にコンピュータサイエンスの分野で形式化された。この用語は、概念学習や決定木に関する研究を通じて広く知られるようになり、研究者たちは、あらゆる学習者は記憶を超えて前進するために事前の仮定を取り入れる必要があると指摘した。現代の実践では、帰納バイアスは単一の明示的な規則ではなく、ニューラルネットワークのアーキテクチャ、損失関数の形式、最適化手順、適用される正則化手法など、構造的な選択の集合である。
帰納バイアスの種類
帰納バイアスはその起源によって分類できる。アーキテクチャ的バイアスはモデルの構造から生じる。例えば、畳み込みニューラルネットワーク（画像タスクでよく使用される）は、局所的な空間的相関と平行移動不変性を仮定し、ある場所で学習された特徴が他の場所でも有用であることを意味する。トランスフォーマーアーキテクチャは、多くの大規模言語モデルで使用され、トークン間の関係がアテンション機構を通じて捉えられ、位置情報が別途エンコードされると仮定する。リカレントネットワークは系列依存性を仮定し、残差ネットワークは恒等写像が有用なベースラインであると仮定して最適化を容易にする。
アルゴリズム的バイアスは学習手順自体から生じる。勾配降下法、特にSGDの変種やAdamオプティマイザなどの変種は、実際により良く一般化する局所的最小値に向かう更新のため、暗黙のうちにより滑らかな関数を優先する。重み初期化、バッチ正規化、層正規化などの手法は、活性化のスケールと分布に関する仮定を導入する。ドロップアウトとデータ拡張はロバスト性へのバイアスを課し、事実上訓練分布を拡張する。
事前ベースのバイアスは明示的であり、複雑さにペナルティを課す損失関数（L1やL2正則化など）や、訓練例を易から難へと順序付け、その順序が収束と一般化を助けると仮定するカリキュラム学習の使用を含む。
一般化における役割
帰納バイアスの中心的な役割は、一般化を可能にすることである。統計的学習理論では、バイアスと分散のトレードオフが、より強い仮定（高いバイアス）が分散を減らす一方で、仮定が誤っている場合は誤差を増やす可能性があることを説明する。バイアスが少なすぎるモデル、例えば非常に多くのパラメータを持つ非常に深いネットワークは、過適合し、ノイズを記憶する可能性がある。逆に、非線形データに対する線形モデルのような過剰なバイアスは、適合不足につながる。
深層学習における実証的研究は、現代のアーキテクチャが訓練例よりもはるかに多くのパラメータを持つにもかかわらず、しばしば良く一般化することを示している。この現象は「宝くじ仮説」や「単純性バイアス」と呼ばれることもあり、勾配ベースの最適化が暗黙のうちに低複雑性の関数を優先することを示唆する。アレクサンダー・マドリーやアリ・ラヒミのような研究者は敵対的例を研究しており、これは帰納バイアスが脆弱であり得ることを明らかにしている。モデルの仮定を悪用する小さな摂動が誤分類を引き起こす可能性があり、バイアスが人間の知覚と一致しないことを示している。
歴史的発展
チェスコンピュータプログラムなどの初期のAIシステムは、手書きの規則に依存しており、これは極端な帰納バイアスの一形態である。1980年代に機械学習への移行が起こり、トム・ミッチェルのような研究者による研究（提供されたリストにはないが、この概念は彼の著作に関連付けられている）が、帰納バイアスをあらゆる学習アルゴリズムの必須要素として形式化した。ミッチェルの定義は頻繁に引用され、学習者の帰納バイアスとは、訓練データと組み合わせてその予測を決定する仮定の集合であると述べている。
1990年代から2000年代にかけて、サポートベクターマシンとカーネル法は、マージン最大化とカーネル関数に基づくバイアスを導入した。2012年以降の深層学習の復活は、Graphcoreなどのハードウェアによって推進され、画像セグメンテーション用のU-Netや言語用のシーケンス間モデルなどのアーキテクチャ革新をもたらした。マルチヘッドアテンションと位置エンコーディングを導入したトランスフォーマーの開発は、ヤコブ・ウシュコレイトとGoogle DeepMindの同僚たちによって行われたが、これはアーキテクチャ的バイアスが特定のデータタイプ向けにどのように設計され得るかを例示している。
現代の応用
現代の生成AIにおいて、帰納バイアスは重要である。OpenAIやAnthropicからの大規模言語モデルは、数十億のパラメータを持つトランスフォーマーを使用しながら、多様なタスクに一般化する。そのバイアスには、関連する文脈が系列のどこにでも存在し得るというアテンション機構の仮定と、訓練目的（次のトークン予測）が一貫性のある局所的に整合的なテキストへのバイアスを課すことが含まれる。RLHF（AIフィードバックからの強化学習）やトップKサンプリング、トップPサンプリングなどの手法は、さらなる生成の形状を決め、確率性と多様性のバイアスを導入する。
コンピュータビジョンでは、データ拡張（ランダムクロップ、回転など）が変換に対する不変性をエンコードし、これはロバスト性を向上させるバイアスである。強化学習では、WaymoやTesla Autopilotからのエージェントが、マルコフ状態遷移を仮定する時間差学習などの帰納バイアスを使用する。
ハードウェアもバイアスに影響を与える。AWS TrainiumやGroqなどのチップは特定の操作向けに最適化されており、特定のモデルアーキテクチャを有利にする可能性がある。例えば、GraphcoreのIPUはスパースかつ並列な計算向けに設計されており、スパース性を活用するモデルへのバイアスを生じる可能性がある。
限界と議論
帰納バイアスは常に有益であるとは限らない。仮定が真のデータ分布と一致しない場合、性能は低下する。例えば、畳み込みネットワークは平行移動不変性を仮定するが、これはスケールが重要な特定の医療画像では失敗する。提供されたリストにはないが、ノーフリーランチ定理は、どのアルゴリズムも普遍的に優れているわけではなく、あらゆる帰納バイアスにはコストが伴うことを述べている。
帰納バイアスが「学習される」のか「組み込まれている」のかについての議論が続いている。メタ学習やカリキュラム学習はデータからバイアスを学習しようと試みるが、それらも高レベルの仮定に依存している。ブレンダン・レイクやジョシュア・テネンバウムのような研究者は、人間のような一般化を達成するために、因果推論や構成性などの認知科学に触発されたより構造化された帰納バイアスを主張している。メラニー・ミッチェルのような他の研究者は、AIシステムが自身のバイアスを明示的に表現し、推論する必要性を強調している。
実際には、実践者はハイパーパラメータ選択、アーキテクチャ探索、正則化を通じて帰納バイアスを調整することが多い。この分野は活発であり、モデル枝刈りや勾配クリッピングなどの新しい手法が最適化の暗黙のバイアスに影響を与えている。モデルがスケールするにつれて、帰納バイアスの理解と制御は、医療から自動運転に至るまでのアプリケーションにおける信頼性と安全性にとってますます重要になっている。