ニューラルネットワークは、相互接続された単純な処理ユニットの層で構成される計算モデルであり、生物学的ニューロンに大まかに触発されたもので、その接続強度（重み）は、所望の関数を近似するように訓練を通じて調整される。ニューラルネットワークは、現代の深層学習、ひいては現代の人工知能システムの大半の背後にある中核的な計算構造である。
歴史
最も初期の訓練可能な神経モデルはパーセプトロンであり、1958年に導入され、単一層の調整可能な重みを用いて単純なパターンを分類することを学習できた。その限界は1969年の批判で文書化され、AIの冬として知られる研究資金の広範な喪失に寄与した。多層ネットワークへの関心は、1980年代に誤差逆伝播法が普及したことで再燃した。これは、ネットワーク内の各重みが誤差を減らすためにどのように変化すべきかを効率的に計算するアルゴリズムであり、隠れ層を持つネットワークを実際に訓練することを可能にした。ニューラルネットワークは、2012年のAlexNetの成功を受けて、ニッチな技術からAIにおける支配的なアプローチへと移行した。これは、グラフィックス処理ユニットを用いて大規模データセットで訓練された多層ネットワークが、実世界のタスクで従来の手法を劇的に上回る性能を発揮できることを示した。
構造
ニューラルネットワークは、ユニット（ニューロン）の層で構成され、各ユニットは入力の加重和を計算し、その結果を非線形活性化関数に通してから次の層に送る。入力と出力の間にこのような層が多数あるネットワークは「深い」と表現され、深層学習の名前の由来となっている。訓練中、損失関数はネットワークの出力と所望の結果との差を測定し、勾配降下法はその差を減らすために重みを反復的に調整し、誤差逆伝播法は必要な勾配を全層にわたって一度に効率的に供給する。
アーキテクチャのファミリー
異なるネットワークアーキテクチャは、異なる種類のデータに適している。畳み込みニューラルネットワークは、共有された空間的に局所的なフィルタを使用し、画像に適している。リカレントニューラルネットワーク（LSTM変種を含む）は、シーケンスを段階的に処理し、歴史的にテキストや音声に使用されてきたが、注意機構を用いてシーケンス全体を並列に処理するトランスフォーマーアーキテクチャに取って代わられた。生成敵対ネットワークや拡散モデルなどの生成アーキテクチャは、データを分類または予測するだけでなく、新しいデータを生成するタスクにニューラルネットワークを適用する。
限界と解釈可能性
ニューラルネットワークはしばしば「ブラックボックス」として批判される。その内部表現は、出力が正確であっても、人間が検査したり説明したりするのが難しい。これは、訓練されたネットワークの個々の構成要素が何を表すかをリバースエンジニアリングしようとする解釈可能性と呼ばれる研究分野を動機付けた。この不透明さにもかかわらず、ニューラルネットワークは、視覚、言語、音声、そしてますますロボティクスや科学応用にわたって支配的なツールであり続けている。これは主に、その性能が、より多くのデータ、より多くのパラメータ、より多くの計算量に応じて予測可能に向上し続けるためである。