ニューラルネットワークは、相互接続された単純な処理ユニットの層で構成される計算モデルであり、生物学的ニューロンに大まかに着想を得ており、その接続強度（重み）は訓練を通じて調整され、所望の関数を近似する。ニューラルネットワークは、現代の深層学習、ひいては現代の人工知能システムのほとんどの中核となる計算構造である。
歴史
最初に訓練可能なニューラルモデルは、1958年に導入されたパーセプトロンであり、単一層の調整可能な重みを用いて単純なパターンを分類することを学習できた。その限界は1969年の批判で文書化され、AI冬として知られる研究資金の広範な喪失に寄与した。多層ネットワークへの関心は、1980年代に誤差逆伝播法が普及したことで復活した。これは、ネットワーク内の各重みが誤差を減らすためにどう変化すべきかを効率的に計算するアルゴリズムであり、隠れ層を持つネットワークを実際に訓練することを可能にした。ニューラルネットワークは、2012年のAlexNetの成功を受けて、ニッチな技術からAIにおける支配的なアプローチへと移行した。これは、多くの層を持つネットワークが、グラフィックス処理ユニットを用いて大規模データセットで訓練されると、実世界のタスクで従来の手法を劇的に上回る性能を発揮できることを示した。
構造
ニューラルネットワークは、ユニット（ニューロン）の層で構成され、各ユニットは入力の重み付き和を計算し、非線形活性化関数を通して結果を次の層に送る。入力と出力の間に多くの層を持つネットワークは「深い」と表現され、深層学習の名称の由来となっている。訓練中、損失関数はネットワークの出力と所望の結果との差を測定し、勾配降下法はその差を減らすために重みを反復的に調整し、誤差逆伝播法は全層にわたって必要な勾配を効率的に供給する。
アーキテクチャの系統
異なるネットワークアーキテクチャは、異なる種類のデータに適している。畳み込みニューラルネットワークは、共有された空間的に局所的なフィルタを使用し、画像に適している。リカレントニューラルネットワーク（LSTM変種を含む）は、シーケンスを段階的に処理し、歴史的にテキストや音声に使用されてきたが、注意機構を用いてシーケンス全体を並列に処理するトランスフォーマーアーキテクチャに取って代わられた。生成敵対ネットワークや拡散モデルなどの生成アーキテクチャは、データを分類または予測するだけでなく、新しいデータを生成するタスクにニューラルネットワークを適用する。
限界と解釈可能性
ニューラルネットワークはしばしば「ブラックボックス」として批判される。その内部表現は、出力が正確であっても、人間が検査したり説明したりすることが難しい。これは、訓練されたネットワークの個々の構成要素が何を表すかをリバースエンジニアリングしようとする解釈可能性と呼ばれる研究サブフィールドを動機付けた。この不透明さにもかかわらず、ニューラルネットワークは、視覚、言語、音声、そしてますますロボティクスや科学応用にわたって支配的なツールであり続けている。これは主に、その性能がデータ、パラメータ、計算量の増加に伴って予測可能に向上し続けるためである。
最近の動向
2020年代に入り、ニューラルネットワークは、特に生成AIの領域で、規模と能力を拡大し続けている。トランスフォーマーアーキテクチャに基づく大規模言語モデルは、推論、翻訳、コード生成における創発的能力を示しており、拡散モデルは高品質な画像および動画合成の標準となっている。ニューラルネットワークの解釈可能性に関する研究も進展しており、メカニスティック解釈可能性などの技術は、訓練されたネットワークの内部計算をリバースエンジニアリングすることを目指している。これらの発展により、ニューラルネットワークは、科学的発見や自律システムを含む多くの分野で基盤技術として確固たるものとなっている。