Infomaxは、人工知能と機械学習における原理であり、入力と出力の間の相互情報量を最大化するようにモデルの訓練を導くものである。この用語は「情報最大化」に由来し、明示的なラベルなしでデータから有用な表現を学習する方法として1990年代に形式化された。システムが受け取るものと生成するものの間の共有情報を最大化することで、Infomaxはモデルが入力の最も関連性の高い特徴を保持し、ノイズや冗長性を捨てることを促す。
この概念は、1940年代にクロード・シャノンによって開拓された情報理論に深い根を持つ。ニューラルネットワークの文脈では、Infomaxは最初に教師なし学習に適用され、ネットワークが感覚データをコンパクトな特徴セットに符号化することを学習した。この原理は、ラルフ・リンスカーなどの研究者の研究を通じて注目を集め、彼は自己組織化システムに適用し、アンソニー・ベルとテレンス・セジノフスキーは1995年に独立成分分析（ICA）のためのInfomaxアルゴリズムを開発した。このアルゴリズムは、混合音声信号の分離などのブラインド信号源分離の標準的なツールとなった。
情報理論的基盤
相互情報量は、ある確率変数が別の確率変数について持つ情報量を測定する。Infomaxでは、入力データXと学習された表現Yの間の相互情報量を最大化することが目標である。数学的には、これはI(X; Y) = H(Y) - H(Y|X)と表現され、Hはエントロピーを表す。この量を最大化することで、表現は入力について情報豊かであり、かつ他の要因を考慮すると予測不能であることが促され、しばしば出力における統計的に独立な成分につながる。
決定論的なニューラルネットワークでは、I(X; Y)の最大化は、制約条件の下で出力のエントロピーを最大化することと等価である。これは、写像が固定されている場合、H(Y|X)がゼロになるためである。実際には、研究者はノイズを追加したり、確率的ユニットを使用して、出力が定数になる自明な解を避ける。したがって、Infomax原理は、入力からの情報を保持することと、多様で高エントロピーな出力を生成することの2つの目的のバランスを取る。
表現学習への応用
Infomaxは、教師なし学習および自己教師あり学習手法の開発に影響を与えてきた。注目すべき応用の1つは、下流タスクのための埋め込みを学習する深層学習アーキテクチャにある。例えば、SimCLRやCPC（対照予測符号化）などの対照学習手法は、Infomaxに触発されている。これらの手法は、同じデータポイントの異なる拡張ビュー間の相互情報量を最大化し、モデルが無関係な変動を無視しながら基盤となる構造を捉えることを効果的に教える。
コンピュータビジョンでは、Infomaxベースの目的関数がラベルなしで畳み込みネットワークを訓練するために使用され、分類タスクにうまく転移する特徴を学習できるようにしている。自然言語処理では、同様の原理が、マスクされたトークンや次の単語を予測する大規模言語モデルの訓練の基盤となっており、文脈と出力の間の情報を暗黙的に最大化している。このアプローチは強化学習にも適用され、エージェントが高い情報利得を提供する状態を探索することを促している。
他の原理との関係
Infomaxは、既知の制約の下で最も高いエントロピーを持つモデルが最良であるとする最大エントロピー原理と密接に関連している。Infomaxでは、制約は入力データであり、目標は出力エントロピーを最大化することである。この関連性により、Infomaxは冗長性削減の一形態として解釈され、ネットワークが入力内の統計的依存関係を除去して階乗符号を作成する。
この原理はまた、神経科学における自由エネルギー原理とも交差し、生物学的システムが驚きを最小化すると仮定する。Infomaxが情報の最大化に焦点を当てる一方で、両方のアプローチは効率的な符号化と予測的処理を強調する。生成AIの文脈では、Infomaxは変分オートエンコーダーや生成的敵対ネットワークの目的関数を設計するために使用されてきたが、これらのモデルはしばしば他の損失関数に依存している。
実用的な実装
現代の機械学習フレームワークでInfomaxを実装するには、相互情報量推定器を定義する必要がある。高次元データに対する正確な相互情報量は計算が困難であるため、研究者は対照学習で使用されるInfoNCE損失などの近似を使用する。InfoNCEは、正のペアを負のサンプルから区別することにより、相互情報量の下界を最大化する。このアプローチは、画像とテキストを整列させるOpenAIのCLIPなどのモデルの訓練に成功している。
もう1つの実用的な実装は、ソースの累積分布関数を近似するために非線形性を使用するInfomax ICAアルゴリズムである。この方法は計算効率が高く、信号処理で広く使用されている。ニューラルネットワークの訓練では、Infomax目的関数は、ドロップアウトやバッチ正規化などの他の正則化子と組み合わせて、汎化を改善することが多い。
限界と批判
理論的な魅力にもかかわらず、Infomaxには限界がある。相互情報量の最大化は推定器の選択に敏感であり、不正確な近似は不安定な訓練につながる可能性がある。さらに、この原理はタスク固有の目的と常に一致するとは限らず、入力に関する情報を最大化する表現は、分類や生成に最適ではない場合がある。一部の研究者は、Infomaxだけでは高レベルの抽象化を学習するには不十分であり、低レベルの統計に焦点を当てる可能性があると主張している。
批評家はまた、Infomaxの生物学的妥当性が議論の的であると指摘している。視覚野のエッジ検出など感覚処理の特定の側面を説明する一方で、トップダウンの影響や注意を考慮していない。2020年代の時点で、Infomaxは基礎的な概念であり続けているが、カリキュラム学習やRLHFなどの他の学習信号と組み合わせて使用され、最先端の結果を達成することが多い。
将来の方向性
研究は、トランスフォーマーアーキテクチャとマルチヘッドアテンションの文脈でInfomaxを探求し続けている。最近の研究では、アテンションメカニズムがクエリとキーの間の情報を暗黙的に最大化し、その有効性の理論的基盤を提供する可能性があることが調査されている。さらに、Infomaxはモデルプルーニングとデータ拡張に適用され、より効率的で堅牢なモデルを作成している。
人工知能の分野では、Infomaxに触発された目的関数がマルチモーダル学習に統合されており、モデルが視覚、言語、音声などの異なるソースからのデータを整列させる。これは、多様なデータから学習する大規模モデルを開発するOpenAIやGoogle DeepMindなどの企業の目標と一致する。情報保持へのこの原理の強調は、AIシステムがより複雑でデータ駆動型になるにつれて、関連性を維持する可能性が高い。