コネクショニズムは、人間の心的過程と認知の研究に対するアプローチであり、コネクショニストネットワークまたは人工ニューラルネットワークとして知られる数学的モデルを利用する。中心的な原理は、心的現象は、単純でしばしば均一なユニットの相互接続されたネットワークによって記述できるというものであり、接続とユニットの形式はモデルごとに異なる場合がある。例えば、ネットワーク内のユニットはニューロンを表し、接続はシナプスを表すことができ、これは人間の脳と同様である。このアプローチは、象徴的計算に基づく古典的な心の理論、しばしば古き良き人工知能（GOFAI）と呼ばれるものの代替と見なされてきたが、両アプローチがどの程度互換性があるかは、その始まり以来議論されてきた。
コネクショニズムは、その始まり以来、いくつかの明確な発展の波を経験してきた。最初の波は1943年にウォーレン・スタージス・マカロックとウォルター・ピッツの研究とともに現れ、彼らは形式的かつ数学的なアプローチを通じて神経回路の理解に焦点を当てた。第二の波は1980年代後半に、隠れ層とシグモイド活性化関数の導入とともに開花した。現在の第三の波は、Deep learningの進歩によって特徴づけられ、大規模言語モデルの作成を可能にした。近年のディープラーニングネットワークの成功はこのアプローチの人気を大いに高めたが、そのようなネットワークの複雑さと規模は、解釈可能性の問題を増大させた。
基本原則
コネクショニズムの中心的な原理は、心的現象は、単純でしばしば均一なユニットの相互接続されたネットワークによって記述できるというものである。接続とユニットの形式はモデルごとに異なる場合がある。例えば、ネットワーク内のユニットはニューロンを表し、接続はシナプスを表すことができ、これは人間の脳と同様である。この原理はGOFAIと象徴的計算に基づく古典的な心の理論の代替と見なされてきたが、両アプローチがどの程度互換性があるかは、その始まり以来多くの議論の対象となってきた。
ニューラルネットワークは2つの基本原則に従う。任意の心的状態は、ネットワーク内の神経ユニットにわたる数値活性化値のn次元ベクトルとして記述できる。記憶と学習は、神経ユニット間の接続の重みを修正することによって作成され、一般にn×m行列として表される。重みは、ヘッブ学習などの何らかの学習規則またはアルゴリズムに従って調整される。
コネクショニストモデルの多様性のほとんどは、3つの源泉から来る。ユニットの解釈は異なる場合があり、ユニットはニューロンまたはニューロンのグループとして解釈される。活性化の定義は異なる場合があり、例えば、ボルツマンマシンでは、活性化は活動電位スパイクを生成する確率として解釈され、ユニットへの入力の合計に対するロジスティック関数を介して決定される。学習アルゴリズムも異なり、時間の経過に伴う接続重みの数学的に定義された任意の変更は学習アルゴリズムと呼ばれる。
活性化と学習
任意のネットワークの内部状態は、フィードフォワードネットワークの場合にはニューロンが後続の層に信号を送信し、リカレントネットワークの場合には前の層に信号を送信するため、時間とともに変化する。非線形活性化関数の発見は、コネクショニズムの第二の波を可能にした。現代のネットワークは、シグモイド、ReLU、またはその変種などの関数を一般的に使用し、ネットワークが複雑な非線形関係をモデル化することを可能にする。
コネクショニストネットワークでの学習は、典型的には学習規則に従って接続重みを調整することを含む。これらの中で最も影響力のあるものはバックプロパゲーションであり、これは重みに関する誤差の勾配を計算し、それに応じて更新する。Adam (Optimizer)や他のStochastic Gradient Descent Variantsなどの最適化技術は、深層ネットワークのトレーニングで標準となっている。Dropout、Batch Normalization、Layer Normalizationなどの他の技術は、トレーニングの安定化と正則化に役立つ。
生物学的現実性
コネクショニストの研究は、一般的に生物学的に現実的である必要はない。コネクショニストモデルが生物学的に非現実的であると考えられる領域の1つは、学習をサポートするために必要な誤差伝播ネットワークに関してである。しかし、誤差伝播は、N400やP600などの事象関連電位で頭皮に見られる生物学的に生成された電気活動の一部を説明でき、コネクショニスト学習手順の重要な仮定の1つに対するいくつかの生物学的支持を提供する。
多くのリカレントコネクショニストモデルは、力学系理論も組み込んでいる。コネクショニストのポール・スモレンスキーなど多くの研究者は、コネクショニストモデルが完全に連続的で、高次元で、非線形で、動的なシステムアプローチへと進化すると主張してきた。ニューラルネットワーク研究の分野は、神経科学からインスピレーションを引き続き得ながら、工学的目標も追求している。
先駆者
コネクショニズムの原理の先駆者は、ウィリアム・ジェームズの研究など、心理学の初期の研究に遡ることができる。人間の脳に関する知識に基づく心理学理論は19世紀後半に流行していた。1869年には早くも、神経学者のジョン・ヒューリングス・ジャクソンが多層的で分散したシステムを主張した。この先導に従い、ハーバート・スペンサーの『心理学原理』第3版（1872年）と、ジークムント・フロイトの『科学的心理学草稿』（1895年執筆）は、コネクショニストまたはプロトコネクショニストの理論を提唱した。これらは投機的な理論である傾向があった。20世紀初頭までに、エドワード・ソーンダイクは、コネクショニスト型のネットワークを仮定する人間の学習について書いていた。
ホップフィールドネットワークには、ヴィルヘルム・レンツ（1920年）とエルンスト・イジング（1925年）によるイジングモデルに先駆者がいたが、彼らが考案したイジングモデルは時間を含んでいなかった。イジングモデルのモンテカルロシミュレーションには、1950年代のコンピュータの登場が必要であった。
最初の波
最初の波は1943年にウォーレン・スタージス・マカロックとウォルター・ピッツとともに始まり、彼らは形式的かつ数学的なアプローチを通じて神経回路の理解に焦点を当てた。彼らの古典的な論文「神経活動に内在する観念の論理的計算」（1943年）は、神経システムが一階述語論理を実装できることを示した。彼らは1930年代のニコラス・ラシェフスキーの研究に影響を受けた。
フランク・ローゼンブラットは、コーネル航空研究所で働いている間に、1958年の論文「パーセプトロン：脳における情報貯蔵と組織化の確率モデル」を『サイコロジカル・レビュー』に発表した。パーセプトロンは、線形分離可能なパターンを分類できる単純な単層ネットワークであった。最初の波は、元のパーセプトロンのアイデアの限界に関する1969年の書籍『パーセプトロン』で終わり、マービン・ミンスキーとシーモア・パパートによって書かれ、米国の主要な資金提供機関がコネクショニスト研究に投資することを思いとどまらせる一因となった。いくつかの注目すべき逸脱を除いて、ほとんどのコネクショニスト研究は1980年代半ばまで不活動の期間に入った。コネクショニストモデルという用語は、1982年にジャーナル『コグニティブ・サイエンス』に掲載されたジェローム・フェルドマンとダナ・バラードの論文で再導入された。
第二の波
第二の波は1980年代後半に開花し、ジェームズ・L・マクレランド、デイビッド・E・ルメルハートらによる1987年の書籍『並列分散処理』に続き、単純なパーセプトロンのアイデアへの改良を導入した。これには、入力ユニットと出力ユニットに加えて隠れ層として知られる中間プロセッサと、古い全か無かの関数の代わりにシグモイド活性化関数の使用が含まれていた。彼らの研究は、シグモイド活性化関数の数学的特性を調査する重要な人物であったジョン・ホップフィールドの研究に基づいていた。
1980年代後半から1990年代半ばまで、コネクショニズムはほぼ革命的な調子を取り、シュナイダー、テレンス・ホーガン、ティエンソンなどの研究者は、コネクショニズムが心理学といわゆる古き良き人工知能における根本的な変化を表すかどうかという問題を提起した。第二の波のコネクショニストアプローチのいくつかの利点には、幅広い機能への適用可能性、生物学的ニューロンへの構造的近似、生得的構造の低い要件、および優雅な劣化の能力が含まれていた。その欠点には、人工ニューラルネットワークが情報を処理する方法や心的表象の構成性を説明する方法を解読することの難しさ、およびその結果として高次のレベルで現象を説明する難しさが含まれていた。
第三の波とディープラーニング
現在の第三の波は、ディープラーニングの進歩によって特徴づけられ、大規模言語モデルの作成を可能にした。過去10年間のディープラーニングネットワークの成功はこのアプローチの人気を大いに高めたが、そのようなネットワークの複雑さと規模は、解釈可能性の問題を増大させた。Transformer (architecture)などの現代のアーキテクチャはGenerative AIの進歩を推進し、OpenAI、Anthropic、Google DeepMindなどの組織で開発されたモデルがある。これらのシステムはコネクショニストの原理に基づいているが、初期のネットワークをはるかに超える規模で動作し、NVIDIAやAMDなどの企業からの専用ハードウェアを使用して膨大なデータセットでトレーニングされた数十億のパラメータを持つ。