深層学習は、機械学習の一分野であり、人工ニューラルネットワークを多層に積み重ねて、ピクセル、音声波形、テキストなどの生データから直接、階層的な表現を学習する手法です。手作業による特徴量設計を必要としません。「深い」という言葉は、入力と出力の間にある層の数を指します。
歴史
深層学習の数学的基盤は1980年代に遡り、誤差逆伝播法が多層ネットワークを訓練する方法として普及しました。1990年代から2000年代にかけては、データと計算資源の制約、他の統計的手法との競争により進展が停滞し、この時期は、コネクショニスト的アプローチに特化した広範なAI冬の一部と表現されることもあります。この分野の現代的な時代は通常2012年とされ、AlexNet（グラフィックス処理ユニットで訓練された深層畳み込みニューラルネットワーク）が、手作業による特徴量に基づく手法を大差で破ってImageNetコンペティションに勝利しました。研究者のジェフリー・ヒントン、ヤン・ルカン、ヨシュア・ベンジオは、後にこの分野の創設トリオと呼ばれ、その基盤を築いた功績により2018年のチューリング賞を受賞しました。また、ヒントンは物理学者のジョン・ホップフィールドとともに、関連する基礎研究により2024年のノーベル物理学賞を共有しました。
アーキテクチャ
初期の深層学習の成功は、画像向けの畳み込みネットワークと、テキストや音声などの系列データ向けのリカレントニューラルネットワーク（LSTM変種を含む）からもたらされました。2017年に導入されたトランスフォーマーアーキテクチャは、段階的な再帰ではなく注意機構を用いて系列を並列処理し、言語タスクにおいてリカレントネットワークを大部分で置き換え、現代の大規模言語モデルの基盤となりました。ネットワークは、勾配降下法の変種を通じて損失関数を最小化することで訓練され、各パラメータの変更方法を計算するために誤差逆伝播法が使用されます。
大規模で機能する理由
深層ネットワークは、以前の統計的手法と比較して、より多くのデータと計算資源から不釣り合いに恩恵を受け、この関係は後にスケーリング則として形式化されました。このスケーリング挙動は、元々グラフィックス描画用に構築されたGPUハードウェアの並列処理能力と組み合わさり、実務者たちは2010年代から2020年代にかけて、ますます大規模なモデルを訓練できるようになりました。AI対応GPUにおけるNvidiaの支配的地位と、そのCUDAソフトウェアプラットフォームは、その結果として業界インフラの中心的な一部となりました。
影響と批判
深層学習は、コンピュータビジョン、音声認識、機械翻訳、そして最も一般に目に見える形ではテキストと画像生成において急速な進歩をもたらしました。批判者たちは、深層ネットワークは依然として大部分が不透明であり、統計的パターンマッチャーとして機能し、その失敗を予測することが難しい場合があり、また、環境と著作権の両方の懸念を引き起こす莫大なエネルギーとデータ資源を必要とすると指摘します。支持者たちは、同じスケーリング手法が、明示的に設計されていない能力を繰り返し生み出してきたと反論し、このパターンは、より一般的な知能に向けた分野の軌跡に関する進行中の議論の中心となっています。