Konnexionismus ist ein Ansatz zur Erforschung menschlicher mentaler Prozesse und Kognition, der mathematische Modelle verwendet, die als konnektionistische Netzwerke oder künstliche neuronale Netze bekannt sind. Das zentrale Prinzip besagt, dass mentale Phänomene durch miteinander verbundene Netzwerke einfacher und oft uniformer Einheiten beschrieben werden können, wobei die Form der Verbindungen und Einheiten von Modell zu Modell variieren kann. Beispielsweise könnten Einheiten im Netzwerk Neuronen und Verbindungen Synapsen repräsentieren, wie im menschlichen Gehirn. Dieser Ansatz wurde als Alternative zu klassischen Theorien des Geistes betrachtet, die auf symbolischer Berechnung basieren, oft als guter alter KI (GOFAI) bezeichnet, obwohl das Ausmaß, in dem die beiden Ansätze kompatibel sind, seit ihrer Entstehung umstritten ist.
Der Konnexionismus hat seit seinen Anfängen mehrere unterschiedliche Entwicklungsphasen durchlaufen. Die erste Welle entstand 1943 mit der Arbeit von Warren Sturgis McCulloch und Walter Pitts, die sich auf das Verständnis neuronaler Schaltkreise durch einen formalen und mathematischen Ansatz konzentrierten. Die zweite Welle blühte in den späten 1980er Jahren mit der Einführung versteckter Schichten und sigmoider Aktivierungsfunktionen auf. Die aktuelle dritte Welle ist durch Fortschritte im Deep learning gekennzeichnet, die die Erstellung von großen Sprachmodellen ermöglicht haben. Der Erfolg von Deep-Learning-Netzwerken in den letzten Jahrzehnten hat die Popularität dieses Ansatzes erheblich gesteigert, aber die Komplexität und der Umfang solcher Netzwerke haben zu erhöhten Interpretierbarkeitsproblemen geführt.
Grundprinzip
Das zentrale konnektionistische Prinzip besagt, dass mentale Phänomene durch miteinander verbundene Netzwerke einfacher und oft uniformer Einheiten beschrieben werden können. Die Form der Verbindungen und Einheiten kann von Modell zu Modell variieren. Beispielsweise könnten Einheiten im Netzwerk Neuronen und die Verbindungen Synapsen repräsentieren, wie im menschlichen Gehirn. Dieses Prinzip wurde als Alternative zu GOFAI und den klassischen Theorien des Geistes betrachtet, die auf symbolischer Berechnung basieren, aber das Ausmaß, in dem die beiden Ansätze kompatibel sind, ist seit ihrer Entstehung Gegenstand vieler Debatten.
Neuronale Netze folgen zwei grundlegenden Prinzipien. Jeder mentale Zustand kann als ein n-dimensionaler Vektor numerischer Aktivierungswerte über neuronale Einheiten in einem Netzwerk beschrieben werden. Gedächtnis und Lernen werden durch die Modifikation der Gewichte der Verbindungen zwischen neuronalen Einheiten erzeugt, die im Allgemeinen als eine n×m-Matrix dargestellt werden. Die Gewichte werden gemäß einer Lernregel oder einem Lernalgorithmus angepasst, wie zum Beispiel dem Hebbschen Lernen.
Der größte Teil der Vielfalt unter konnektionistischen Modellen stammt aus drei Quellen. Die Interpretation der Einheiten kann variieren, wobei Einheiten als Neuronen oder Gruppen von Neuronen interpretiert werden. Die Definition der Aktivierung kann sich unterscheiden; zum Beispiel wird in einer Boltzmann-Maschine die Aktivierung als die Wahrscheinlichkeit der Erzeugung eines Aktionspotentials interpretiert und über eine logistische Funktion der Summe der Eingaben an eine Einheit bestimmt. Der Lernalgorithmus variiert ebenfalls, wobei jede mathematisch definierte Änderung der Verbindungsgewichte im Laufe der Zeit als Lernalgorithmus bezeichnet wird.
Aktivierung und Lernen
Interne Zustände eines Netzwerks ändern sich im Laufe der Zeit, da Neuronen ein Signal an eine nachfolgende Schicht von Neuronen senden, im Fall eines Feedforward-Netzwerks, oder an eine vorherige Schicht, im Fall eines rekurrenten Netzwerks. Die Entdeckung nichtlinearer Aktivierungsfunktionen ermöglichte die zweite Welle des Konnexionismus. Moderne Netzwerke verwenden häufig Funktionen wie die Sigmoidfunktion, ReLU oder Varianten davon, die es Netzwerken ermöglichen, komplexe nichtlineare Beziehungen zu modellieren.
Lernen in konnektionistischen Netzwerken beinhaltet typischerweise die Anpassung der Verbindungsgewichte gemäß einer Lernregel. Die einflussreichste davon war die Backpropagation, die Gradienten des Fehlers in Bezug auf die Gewichte berechnet und diese entsprechend aktualisiert. Optimierungstechniken wie der Adam (Optimizer) und andere Stochastic Gradient Descent Variants sind Standard beim Training tiefer Netzwerke geworden. Andere Techniken wie Dropout, Batch Normalization und Layer Normalization helfen, das Training zu stabilisieren und zu regularisieren.
Biologische Realismus
Konnektionistische Arbeit muss im Allgemeinen nicht biologisch realistisch sein. Ein Bereich, in dem konnektionistische Modelle als biologisch unplausibel gelten, betrifft die Fehlerausbreitungsnetzwerke, die zur Unterstützung des Lernens benötigt werden. Allerdings kann die Fehlerausbreitung einige der biologisch erzeugten elektrischen Aktivitäten erklären, die auf der Kopfhaut in ereigniskorrelierten Potentialen wie N400 und P600 gesehen werden, was eine gewisse biologische Unterstützung für eine der Schlüsselannahmen konnektionistischer Lernverfahren bietet.
Viele rekurrente konnektionistische Modelle integrieren auch die Theorie dynamischer Systeme. Viele Forscher, wie der Konnektionist Paul Smolensky, haben argumentiert, dass sich konnektionistische Modelle zu vollständig kontinuierlichen, hochdimensionalen, nichtlinearen, dynamischen Systemansätzen entwickeln werden. Das Feld der Neuronale-Netzwerk-Forschung zieht weiterhin Inspiration aus den Neurowissenschaften, während es auch technische Ziele verfolgt.
Vorläufer
Vorläufer der konnektionistischen Prinzipien können auf frühe Arbeiten in der Psychologie zurückgeführt werden, wie die von William James. Psychologische Theorien, die auf Wissen über das menschliche Gehirn basierten, waren im späten 19. Jahrhundert in Mode. Bereits 1869 argumentierte der Neurologe John Hughlings Jackson für mehrstufige, verteilte Systeme. In Anlehnung an diesen Ansatz vertraten Herbert Spencers Principles of Psychology, 3. Auflage (1872), und Sigmund Freuds Projekt für eine wissenschaftliche Psychologie (verfasst 1895) konnektionistische oder proto-konnektionistische Theorien. Diese waren tendenziell spekulative Theorien. Zu Beginn des 20. Jahrhunderts schrieb Edward Thorndike über menschliches Lernen, das eine konnektionistische Art von Netzwerk postulierte.
Hopfield-Netzwerke hatten Vorläufer im Ising-Modell, das auf Wilhelm Lenz (1920) und Ernst Ising (1925) zurückgeht, obwohl das von ihnen konzipierte Ising-Modell keine Zeit beinhaltete. Monte-Carlo-Simulationen des Ising-Modells erforderten das Aufkommen von Computern in den 1950er Jahren.
Die erste Welle
Die erste Welle begann 1943 mit Warren Sturgis McCulloch und Walter Pitts, die sich auf das Verständnis neuronaler Schaltkreise durch einen formalen und mathematischen Ansatz konzentrierten. Ihr klassischer Aufsatz "A Logical Calculus of Ideas Immanent in Nervous Activity" (1943) zeigte, wie neuronale Systeme Logik erster Ordnung implementieren könnten. Sie wurden durch die Arbeit von Nicolas Rashevsky in den 1930er Jahren beeinflusst.
Frank Rosenblatt veröffentlichte 1958 den Aufsatz "The Perceptron: A Probabilistic Model For Information Storage and Organization in the Brain" in Psychological Review, während er am Cornell Aeronautical Laboratory arbeitete. Das Perceptron war ein einfaches einschichtiges Netzwerk, das linear separierbare Muster klassifizieren konnte. Die erste Welle endete mit dem Buch Perceptrons von 1969 über die Grenzen der ursprünglichen Perceptron-Idee, geschrieben von Marvin Minsky und Seymour Papert, das dazu beitrug, große Förderinstitutionen in den USA davon abzubringen, in konnektionistische Forschung zu investieren. Mit einigen bemerkenswerten Ausnahmen trat die meiste konnektionistische Forschung bis Mitte der 1980er Jahre in eine Phase der Inaktivität ein. Der Begriff konnektionistisches Modell wurde in einem Aufsatz von 1982 in der Zeitschrift Cognitive Science von Jerome Feldman und Dana Ballard wieder eingeführt.
Die zweite Welle
Die zweite Welle blühte in den späten 1980er Jahren auf, nach einem Buch von 1987, Parallel Distributed Processing von James L. McClelland, David E. Rumelhart und Kollegen, das Verbesserungen der einfachen Perceptron-Idee einführte. Diese umfassten Zwischenprozessoren, die heute als versteckte Schichten bekannt sind, neben Eingabe- und Ausgabeeinheiten, sowie die Verwendung einer sigmoiden Aktivierungsfunktion anstelle der alten Alles-oder-nichts-Funktion. Ihre Arbeit baute auf der von John Hopfield auf, der eine Schlüsselfigur bei der Untersuchung der mathematischen Eigenschaften sigmoider Aktivierungsfunktionen war.
Von den späten 1980er bis Mitte der 1990er Jahre nahm der Konnexionismus einen fast revolutionären Ton an, als Forscher wie Schneider, Terence Horgan und Tienson die Frage stellten, ob der Konnexionismus einen grundlegenden Wandel in der Psychologie und der sogenannten guten alten KI darstelle. Einige Vorteile des konnektionistischen Ansatzes der zweiten Welle umfassten seine Anwendbarkeit auf eine breite Palette von Funktionen, die strukturelle Annäherung an biologische Neuronen, geringe Anforderungen an angeborene Strukturen und die Fähigkeit zur eleganten Degradation. Seine Nachteile umfassten die Schwierigkeit, zu entschlüsseln, wie künstliche neuronale Netze Informationen verarbeiten oder die Kompositionalität mentaler Repräsentationen erklären, und eine daraus resultierende Schwierigkeit, Phänomene auf höherer Ebene zu erklären.
Die dritte Welle und Deep Learning
Die aktuelle dritte Welle ist durch Fortschritte im Deep Learning gekennzeichnet, die die Erstellung großer Sprachmodelle ermöglicht haben. Der Erfolg von Deep-Learning-Netzwerken im letzten Jahrzehnt hat die Popularität dieses Ansatzes erheblich gesteigert, aber die Komplexität und der Umfang solcher Netzwerke haben erhöhte Interpretierbarkeitsprobleme mit sich gebracht. Moderne Architekturen wie der Transformer (architecture) haben Fortschritte in der Generative AI vorangetrieben, mit Modellen, die bei Organisationen wie OpenAI, Anthropic und Google DeepMind entwickelt wurden. Diese Systeme bauen auf konnektionistischen Prinzipien auf, operieren jedoch in Größenordnungen, die weit über frühen Netzwerken liegen, mit Milliarden von Parametern, die auf riesigen Datensätzen unter Verwendung spezialisierter Hardware von Unternehmen wie NVIDIA und AMD trainiert werden.