次元削減は、機械学習と人工知能における基本的な手法であり、データを高次元空間から低次元空間へ変換しつつ、可能な限り多くの意味のある情報を保持するものである。主な目的は、考慮する確率変数の数を減らすことであり、これにより次元の呪いを緩和する。次元の呪いでは、特徴空間の体積が次元数の増加に伴って指数関数的に拡大し、データが疎になり、統計解析が困難になる。データをより少ない次元に射影することで、モデルはより効率的になり、過学習しにくくなり、可視化や解釈が容易になる。
次元削減の必要性は、画像処理、自然言語処理、ゲノミクスなど、多くの領域で生じる。高次元データセットには、ノイズや計算コストを増加させる冗長な特徴や無関係な特徴が含まれることが多い。主成分分析（PCA）、t分布型確率的近傍埋め込み（t-SNE）、一様多様体近似射影（UMAP）などの手法は、データから最も情報量の多い構造を抽出するために広く使用されている。これらの手法は線形または非線形であり、その選択はデータの特性や、クラスタリング、分類、可視化などの意図した用途に依存する。
主成分分析と線形手法
主成分分析（PCA）は、最も古典的で広く使用されている線形次元削減手法である。1901年にカール・ピアソンによって導入されたPCAは、データの最大分散を捉える主成分と呼ばれる直交軸を特定する。第一主成分は可能な限り最大の分散を占め、第二主成分はその次に大きい分散を占め、以下同様である。上位の主成分のみを保持することで、PCAは大域的な構造を維持しながら次元を削減する。PCAは計算効率が高く、非線形データのためのカーネルPCAなど、多くの拡張の基礎を形成している。他の線形手法には、クラス分離性の最大化に焦点を当てた線形判別分析（LDA）や、潜在変数をモデル化する因子分析がある。
非線形手法：t-SNEとUMAP
複雑な非線形データの場合、線形手法は本質的な構造を捉えられないことが多い。2008年にローレンス・ファン・デル・マーテンとジェフリー・ヒントンによって開発されたt分布型確率的近傍埋め込み（t-SNE）は、局所的な類似性を強調する人気のある非線形手法である。これは、高次元空間内の点のペアに対する確率分布を構築し、その分布と低次元埋め込み内の類似分布との間のカルバック・ライブラー発散を最小化する。t-SNEはクラスタの可視化に優れているが、ハイパーパラメータに敏感であり、大域的な距離をうまく保持しない。2018年にリーランド・マッキネスとジョン・ヒーリーによって導入された一様多様体近似射影（UMAP）は、多様体理論と位相的データ解析に基づくより新しい手法である。UMAPはしばしばt-SNEよりも高速に動作し、局所的および大域的な構造の両方をよりよく保持するため、大規模データセットに好まれる選択肢となっている。
オートエンコーダと深層学習アプローチ
深層学習とニューラルネットワークアーキテクチャの台頭に伴い、次元削減は表現学習に統合されている。オートエンコーダは、低次元のボトルネック層を通じて入力を再構成するように訓練されたニューラルネットワークである。エンコーダは入力を圧縮された潜在表現にマッピングし、デコーダは元のデータを再構成しようとする。訓練後、潜在空間は削減された次元の特徴セットとして機能する。変分オートエンコーダ（VAE）は、この考え方を拡張して確率的潜在分布を学習し、生成的モデリングを可能にする。これらの手法は、階層的特徴を学習できる画像データやテキストデータに特に効果的である。大規模言語モデルの文脈では、次元削減はトークンの高次元埋め込みを管理し、低ランク因子分解などの手法を通じて注意行列を射影するために使用される。
応用と実践的考慮事項
次元削減は、多くの実世界システムで応用されている。コンピュータビジョンでは、ウェイモやテスラ・オートパイロットに見られるように、自動運転などのアプリケーションでの高速推論のために画像特徴を圧縮するのに役立つ。自然言語処理では、Word2VecやGloVeなどの単語埋め込みが語彙空間を密なベクトルに削減し、それがトランスフォーマーモデルで使用される。バイオインフォマティクスでは、ハイスループットシーケンシングからの遺伝子発現データの可視化に役立つ。実践的な考慮事項には、情報損失と計算節約の間のトレードオフ、次元数の選択（多くの場合、説明された分散やエルボー法によって決定される）、および結果として得られる特徴の解釈可能性が含まれる。ドロップアウトやバッチ正規化などの手法は、異なる目的を果たすが、モデルの堅牢性を向上させるために次元削減と組み合わせられることがある。
次元の呪いとの関係
次元の呪いは、高次元空間をカバーするために必要なサンプル数が次元数の増加に伴って指数関数的に増加する現象を説明する。これにより、距離メトリクスの意味が薄れ、k近傍法などのアルゴリズムの性能が低下する可能性がある。次元削減は、データを点の密度が高く距離がより信頼できる低次元部分空間に射影することで、これを直接的に解決する。しかし、これは万能薬ではない。過度な削減は識別情報を捨て去る可能性がある。MIT CSAILやスタンフォードAIラボなどの機関の研究者は、ジョンソン・リンデンシュトラウスの補題を含む次元削減の理論的限界を研究してきた。この補題は、ランダム射影が点の数に対して対数的な目標次元で高い確率でペアワイズ距離を保持できることを保証する。
将来の方向性
データセットがサイズと複雑さの両方で成長し続けるにつれて、次元削減は活発な研究分野であり続けている。近似PCAやストリーミングUMAPなど、数十億の点にスケールする手法が開発されている。また、削減された次元が意味のある意味的概念に対応する、解釈可能な次元削減への関心も高まっている。生成AIとトランスフォーマーベースのモデルの時代では、潜在空間はしばしば高次元であり、プロービングやスパースオートエンコーダなどの手法がモデルの動作を理解し制御するために使用されている。次元削減とモデル枝刈りおよびデータ拡張との統合は、より効率的で一般化可能なシステムを作成することを目的としたもう一つの新たなトレンドである。