Ein neuronales Netz ist ein rechnerisches Modell, das aus miteinander verbundenen Schichten einfacher Verarbeitungseinheiten besteht, die lose von biologischen Neuronen inspiriert sind. Deren Verbindungsstärken, auch Gewichte genannt, werden durch Training angepasst, um eine gewünschte Funktion anzunähern. Neuronale Netze bilden die zentrale Rechenstruktur hinter modernem Deep Learning und damit auch hinter den meisten heutigen Systemen der künstlichen Intelligenz.
Geschichte
Das früheste trainierbare neuronale Modell war das Perzeptron, das 1958 eingeführt wurde und mit einer einzelnen Schicht anpassbarer Gewichte einfache Muster klassifizieren konnte. Seine Einschränkungen, die in einer Kritik von 1969 dokumentiert wurden, trugen zu einem breiten Verlust an Forschungsförderung bei, der als KI-Winter bekannt wurde. Das Interesse an mehrschichtigen Netzen erwachte in den 1980er-Jahren mit der Popularisierung von Backpropagation, einem Algorithmus zur effizienten Berechnung, wie sich jedes Gewicht in einem Netz ändern sollte, um Fehler zu reduzieren. Dies ermöglichte es, Netze mit verborgenen Schichten in der Praxis zu trainieren. Neuronale Netze entwickelten sich von einer Nischentechnik zum dominierenden Ansatz in der KI, nachdem 2012 der Erfolg von AlexNet zeigte, dass Netze mit vielen Schichten, die auf großen Datensätzen mit Grafikprozessoren trainiert wurden, frühere Methoden bei realen Aufgaben deutlich übertreffen konnten.
Struktur
Ein neuronales Netz ist in Schichten von Einheiten, den Neuronen, organisiert. Jede Einheit berechnet eine gewichtete Summe ihrer Eingaben und leitet das Ergebnis durch eine nichtlineare Aktivierungsfunktion, bevor sie es an die nächste Schicht sendet. Netze mit vielen solcher Schichten zwischen Eingabe und Ausgabe werden als „tief“ bezeichnet, was dem Deep Learning seinen Namen gibt. Während des Trainings misst eine Verlustfunktion die Abweichung zwischen der Ausgabe des Netzes und dem gewünschten Ergebnis, und Gradientenabstieg passt die Gewichte iterativ an, um diese Abweichung zu verringern, wobei Backpropagation die erforderlichen Gradienten effizient über alle Schichten hinweg liefert.
Architekturfamilien
Verschiedene Netzwerkarchitekturen eignen sich für verschiedene Arten von Daten. Faltungsneuronale Netze verwenden gemeinsame, räumlich lokale Filter und sind gut für Bilder geeignet. Rekurrente neuronale Netze, einschließlich der LSTM-Variante, verarbeiten Sequenzen Schritt für Schritt und wurden historisch für Text und Sprache verwendet, bevor sie durch die Transformer-Architektur verdrängt wurden, die ganze Sequenzen parallel mithilfe von Aufmerksamkeit verarbeitet. Generative Architekturen wie das Generative Adversarial Network und das Diffusionsmodell wenden neuronale Netze auf die Aufgabe an, neue Daten zu erzeugen, anstatt sie nur zu klassifizieren oder vorherzusagen.
Einschränkungen und Interpretierbarkeit
Neuronale Netze werden oft als „Black Boxes“ kritisiert: Ihre internen Darstellungen sind für Menschen schwer zu inspizieren oder zu erklären, selbst wenn ihre Ausgaben korrekt sind. Dies hat ein Forschungsfeld motiviert, das manchmal als Interpretierbarkeit bezeichnet wird und versucht, nachzuvollziehen, was einzelne Komponenten eines trainierten Netzes repräsentieren. Trotz dieser Undurchsichtigkeit bleiben neuronale Netze das dominierende Werkzeug in den Bereichen Vision, Sprache, Audio und zunehmend auch Robotik und wissenschaftliche Anwendungen, vor allem weil ihre Leistung weiterhin vorhersehbar mit mehr Daten, mehr Parametern und mehr Rechenleistung steigt.
Aktuelle Entwicklungen
In den 2020er-Jahren sind neuronale Netze weiter in Größe und Leistungsfähigkeit gewachsen, insbesondere im Bereich der generativen KI. Große Sprachmodelle, die auf der Transformer-Architektur basieren, haben emergente Fähigkeiten in Denken, Übersetzung und Codegenerierung gezeigt, während Diffusionsmodelle zum Standard für hochwertige Bild- und Videosynthese geworden sind. Auch die Forschung zur Interpretierbarkeit neuronaler Netze hat Fortschritte gemacht, wobei Techniken wie die mechanistische Interpretierbarkeit darauf abzielen, die internen Berechnungen trainierter Netze nachzuvollziehen. Diese Entwicklungen haben neuronale Netze als grundlegende Technologie in zahlreichen Bereichen gefestigt, einschließlich wissenschaftlicher Entdeckungen und autonomer Systeme.