機械学習およびデータ解析において、データセットの内在次元とは、有意な情報損失なしにデータを表現するために必要な独立変数の最小数を指す。データは高次元の外囲空間（例えば、画像の数千のピクセル値）に埋め込まれているかもしれないが、その実際の構造は、しばしばより低次元の多様体上に存在する。内在次元はこの低次元の複雑さを定量化し、冗長または相関のある特徴と、データの変動性を支配する真の自由度を区別する。
この概念は、「次元の呪い」とDeep learningモデルの驚くべき効率性を理解する上で中心的な役割を果たす。例えば、自然画像、音声信号、テキスト埋め込みは、しばしば生の特徴数よりもはるかに小さい内在次元を示す。この特性は、Model Pruning、Data Augmentation、多様体学習などの技術の基盤となっており、次元削減は汎化性能、計算効率、解釈可能性を向上させることができる。
測定と推定
内在次元の推定は自明ではない問題であり、その手法は大域的と局所的の2つの大きなカテゴリに分類される。主成分分析（PCA）や多次元尺度構成法などの大域的手法は、データが線形部分空間上にあると仮定する。しかし、実世界のデータはしばしば非線形多様体上に存在するため、局所的なアプローチが必要となる。一般的な局所推定器には、相関次元、Grassberger-Procacciaアルゴリズム、および2005年にLevinaとBickelによって導入された最尤推定器（MLE）のような最近傍ベースの手法が含まれる。これらの手法は、距離に応じて近傍数が増加する割合を計算し、データセット全体で平均化できる局所次元推定値を得る。
より最近のアプローチは、ニューラルネットワーク自体を活用する。例えば、データセットの内在次元は、分類器やオートエンコーダを訓練し、学習された特徴表現のランクを測定することで推測できる。Neural networkの研究では、損失景観の内在次元、すなわち最小値に到達するために必要な有効パラメータ数が、汎化と過剰パラメータ化を理解するために研究されている。
ニューラルネットワーク訓練における役割
現代の機械学習における重要な発見は、Neural networkパラメータの最適化が、全パラメータ数よりもはるかに低い内在次元の部分空間でしばしば発生することである。Liら（2018年）の研究は、多くのアーキテクチャにおいて、パラメータ空間の小さなランダム射影のみを最適化することでネットワークをほぼ完全な精度に訓練でき、必要な次元がパラメータ数に対して対数的にスケーリングすることを示した。この現象は「最適化の内在次元」と呼ばれることもあり、Gradient ClippingやLearning Rate Scheduling戦略が巨大なモデルでも効果的である理由を説明する。
この洞察は実用的な意味を持つ。これは、冗長なパラメータを性能を犠牲にすることなく除去するModel Pruningや低ランク分解技術の有効性を支持する。また、タスク固有の調整の低い内在次元を活用する、アダプターや低ランク更新などのLarge language model向けパラメータ効率的ファインチューニング手法の設計にも情報を提供する。
データサイエンスにおける応用
教師なし学習では、内在次元はt-SNEやUMAPなどのアルゴリズムの埋め込み次元の選択を導く。内在次元を知ることは、Loss Functionsベースの行列分解やAutoencoderスタイルのモデルにおける潜在因子の数を設定するのに役立つ。異常検知では、局所内在次元が異常に高い点は、多様体構造から逸脱するため、ノイズや外れ値を示す可能性がある。
Computer visionおよびNatural language processingでは、内在次元推定はモデル選択前にデータセットの複雑さを評価するために使用される。例えば、画像パッチの内在次元は分類タスクの難易度を予測でき、Transformer (architecture)モデルからのテキスト埋め込みは、より一貫性のあるトピックに対して低い内在次元を示すことが多い。
過剰パラメータ化と汎化との関連
Residual Network (ResNet)やTransformer (architecture)などの過剰パラメータ化モデルの成功は、データと損失景観の低い内在次元に部分的に帰属されている。理論的研究は、データの内在次元が低い場合、有効な仮説空間が制約されるため、モデルは過適合なしにノイズを記憶できることを示唆している。これは、Batch NormalizationやDropoutが特徴空間の内在次元を暗黙的に削減することでモデルを正則化するという観察と一致する。
さらに、訓練中の勾配ダイナミクスの内在次元は、最終的な汎化ギャップを予測できる。研究は、より小さな有効内在次元で訓練されたネットワークは、より良い汎化を示す傾向があることを示しており、この発見はCurriculum Learningやデータ複雑性を徐々に増加させる他の訓練戦略の研究を動機付けている。
限界と未解決問題
内在次元の推定は、ノイズ、サンプルサイズ、および計量の選択に敏感なままである。スパースサンプリングを伴う高次元データでは、局所推定器はバイアスを受ける可能性がある。普遍的に受け入れられた定義は存在せず、異なる推定器は同じデータセットに対して異なる値を与えることがある。Generative AIおよびLarge language modelの文脈では、学習された表現空間の内在次元はまだ完全には理解されておらず、モデル規模、訓練データの多様性、創発的能力との関連について研究が進行中である。
将来の研究は、数十億のパラメータにスケーリングする堅牢な推定器の開発と、内在次元をArtificial intelligenceの安全性と解釈可能性における理論的保証に結び付けることに焦点を当てる可能性がある。