深層学習は、機械学習の一分野であり、人工ニューラルネットワークを多層に積み重ねて、ピクセル、音声波形、テキストなどの生データから直接、階層的な表現を学習する。手作業による特徴量設計を必要としない。ここでいう「深い」とは、入力と出力の間にある層の数を指し、通常、クレジット割り当て経路（CAP）の深さが2より大きいシステムを指す。深層学習は、教師あり学習、半教師あり学習、教師なし学習のいずれにも適用でき、生物学的な脳機能のモデル化を目的とするものではないが、そこから着想を得ている。
歴史
深層学習の数学的基盤は1980年代に遡り、誤差逆伝播法が多層ネットワークを訓練する方法として広く知られるようになった。1990年代から2000年代にかけては、データの不足、計算能力の限界、他の統計手法との競争により進展が停滞し、この時期は、コネクショニスト的アプローチに特化したAI冬の時代の一部とされることもある。この分野の現代的な時代は、通常2012年とされ、この年に、グラフィックス処理装置（GPU）で訓練された深層畳み込みニューラルネットワークであるAlexNetが、手作業による特徴量に基づく手法を大きく引き離してImageNetコンペティションで優勝した。研究者のジェフリー・ヒントン、ヤン・ルカン、ヨシュア・ベンジオは、後にこの分野の創設者トリオと呼ばれ、その基礎を築いた功績により2018年のチューリング賞を受賞した。また、ヒントンと物理学者のジョン・ホップフィールドは、関連する基礎研究により2024年のノーベル物理学賞を共同受賞した。
「深層学習」という用語は、1986年にリナ・デヒターによって機械学習コミュニティに紹介され、2000年にはイゴール・アイゼンバーグらによって、ブール閾値ニューロンの文脈で人工ニューラルネットワークに導入された。
アーキテクチャ
初期の深層学習の成功は、画像用の畳み込みネットワークと、テキストや音声などの系列データ用のリカレントニューラルネットワーク（LSTM変種を含む）からもたらされた。一般的なアーキテクチャには、全結合ネットワーク、深層信念ネットワーク、生成的敵対ネットワーク（GAN）、トランスフォーマー、ニューラル放射場などもある。2017年に導入されたトランスフォーマーアーキテクチャは、ステップバイステップの再帰ではなくアテンション機構を用いて系列を並列処理するもので、言語タスクにおいてリカレントネットワークをほぼ置き換え、現代の大規模言語モデルの基盤となった。ネットワークは、勾配降下法の変種を通じて損失関数を最小化することで訓練され、各パラメータの変更方法を計算するために誤差逆伝播法が用いられる。深層学習モデルは、貪欲な層ごとの方法で構築でき、教師なし学習タスクにも適用できる。
大規模で機能する理由
深層ネットワークは、初期の統計手法と比較して、より多くのデータと計算能力から不釣り合いに恩恵を受ける。この関係は後にスケーリング則として形式化された。このスケーリング挙動は、もともとグラフィックスレンダリング用に構築されたGPUハードウェアの並列処理能力と組み合わさり、2010年代から2020年代にかけて、実務家がますます大規模なモデルを訓練することを可能にした。AI対応GPUにおけるNvidiaの優位性と、そのCUDAソフトウェアプラットフォームは、その結果として業界インフラの中心的な一部となった。
解釈
深層ニューラルネットワークは、一般に、普遍近似定理または確率的推論の観点から解釈される。古典的な普遍近似定理は、有限サイズの単一隠れ層を持つフィードフォワードネットワークが連続関数を近似できることを述べており、最初の証明は1989年にジョージ・サイベンコによってシグモイド活性化関数について発表され、1991年にクルト・ホルニクによって多層アーキテクチャに一般化された。最近の研究では、正規化線形ユニットなどの非有界活性化関数への普遍近似が拡張されている。活性化の非線形性を累積分布関数と見なす確率的解釈は、正則化器としてのドロップアウトの導入につながった。
影響と批判
深層学習は、コンピュータビジョン、音声認識、機械翻訳、自然言語処理、そして最も一般に知られているところではテキストと画像生成において急速な進歩をもたらした。この分野はまた、バイオインフォマティクス、薬剤設計、医用画像解析、気候科学、材料検査、ボードゲームプログラムにも応用されており、一部のケースでは人間の専門家のパフォーマンスに匹敵またはそれを上回る結果を達成している。批判者らは、深層ネットワークは依然としてほぼ不透明であり、統計的パターンマッチャーとして機能し、その失敗を予測するのが難しい場合があり、また、膨大なエネルギーとデータリソースを必要とし、環境と著作権の両方の懸念を引き起こすと指摘する。支持者らは、同じスケーリング手法が、明示的に設計されていない能力を繰り返し生み出してきたと反論し、このパターンは、より一般的な知能に向けた分野の軌跡に関する進行中の議論の中心となっている。
最近の動向
2020年代には、大規模言語モデル（GPTやHugging Face Transformersライブラリなど）がトランスフォーマーアーキテクチャに基づいて主流の製品となった。深層学習はまた、画像合成のためのGANや拡散モデル、3Dシーン再構成のためのニューラル放射場などの生成モデルにも拡大した。表現学習と教師なし学習の進歩により、ラベル付きデータへの依存は引き続き減少している。この分野は依然として集中的な研究と公の議論の焦点であり、解釈可能性、効率性、人間の価値観との整合性を改善するための継続的な取り組みが行われている。