Deep Learning ist ein Zweig des maschinellen Lernens, der künstliche neuronale Netze mit vielen gestapelten Schichten verwendet, um hierarchische Repräsentationen direkt aus Rohdaten wie Pixeln, Audio-Wellenformen oder Text zu lernen, ohne dass handgefertigte Merkmale erforderlich sind. Das Wort „tief" bezieht sich auf die Anzahl der Schichten zwischen Eingabe und Ausgabe, wobei Systeme typischerweise eine Credit-Assignment-Pfad-Tiefe (CAP) von mehr als zwei aufweisen. Deep Learning kann überwacht, halbüberwacht oder unüberwacht sein und lässt sich von der biologischen Gehirnfunktion inspirieren, zielt jedoch nicht darauf ab, diese zu modellieren.
Geschichte
Die mathematischen Grundlagen des Deep Learning gehen auf die 1980er Jahre zurück, als Backpropagation als Methode zum Training mehrschichtiger Netze populär wurde. Der Fortschritt stagnierte in den 1990er und 2000er Jahren aufgrund begrenzter Daten, begrenzter Rechenleistung und Konkurrenz durch andere statistische Methoden, eine Zeit, die manchmal als Teil eines breiteren KI-Winters speziell für konnektionistische Ansätze beschrieben wird. Die moderne Ära des Feldes wird üblicherweise auf 2012 datiert, als AlexNet, ein tiefes faltendes neuronales Netz, das auf Grafikprozessoren trainiert wurde, den ImageNet-Wettbewerb mit großem Abstand gegenüber Methoden gewann, die auf handgefertigten Merkmalen basierten. Die Forscher Geoffrey Hinton, Yann LeCun und Yoshua Bengio, später als Gründungstrio des Feldes bezeichnet, erhielten 2018 den Turing Award für ihre Grundlagenarbeit; Hinton und der Physiker John Hopfield teilten sich 2024 den Nobelpreis für Physik für verwandte Grundlagenarbeit.
Der Begriff „Deep Learning" wurde 1986 von Rina Dechter in die Gemeinschaft des maschinellen Lernens eingeführt und 2000 von Igor Aizenberg und Kollegen im Kontext boolescher Schwellwertneuronen in künstliche neuronale Netze.
Architektur
Frühe Erfolge des Deep Learning stammten von faltenden Netzen für Bilder und rekurrenten neuronalen Netzen, einschließlich der LSTM-Variante, für sequenzielle Daten wie Text und Sprache. Zu den gängigen Architekturen gehören auch vollständig verbundene Netze, Deep Belief Networks, generative gegnerische Netze (GANs), Transformer und neuronale Strahlungsfelder. Die Einführung der Transformer-Architektur im Jahr 2017, die Sequenzen parallel mithilfe von Aufmerksamkeitsmechanismen verarbeitet, anstatt schrittweise Rekurrenz zu verwenden, verdrängte rekurrente Netze weitgehend bei Sprachaufgaben und wurde zur Grundlage moderner großer Sprachmodelle. Netze werden trainiert, indem eine Verlustfunktion durch Varianten des Gradientenabstiegs minimiert wird, wobei Backpropagation verwendet wird, um zu berechnen, wie sich jeder Parameter ändern sollte. Deep-Learning-Modelle können mit einer gierigen Schicht-für-Schicht-Methode konstruiert werden und auf unüberwachte Lernaufgaben angewendet werden.
Warum es in großem Maßstab funktioniert
Tiefe Netze profitieren überproportional von mehr Daten und mehr Rechenleistung im Vergleich zu früheren statistischen Methoden, eine Beziehung, die später als Skalierungsgesetze formalisiert wurde. Dieses Skalierungsverhalten, kombiniert mit der parallelen Verarbeitungsfähigkeit von GPU-Hardware, die ursprünglich für Grafikrendering gebaut wurde, ermöglichte es Praktikern, in den 2010er und 2020er Jahren immer größere Modelle zu trainieren. Nvidias Dominanz bei KI-fähigen GPUs und seiner CUDA-Softwareplattform wurde dadurch zu einem zentralen Bestandteil der Industrieinfrastruktur.
Interpretationen
Tiefe neuronale Netze werden im Allgemeinen im Sinne des universellen Approximationssatzes oder der probabilistischen Inferenz interpretiert. Der klassische universelle Approximationssatz besagt, dass Feedforward-Netze mit einer einzelnen verborgenen Schicht endlicher Größe kontinuierliche Funktionen approximieren können; der erste Beweis wurde 1989 von George Cybenko für Sigmoid-Aktivierungen veröffentlicht und 1991 von Kurt Hornik auf mehrschichtige Architekturen verallgemeinert. Neuere Arbeiten erweiterten die universelle Approximation auf unbeschränkte Aktivierungen wie die gleichgerichtete lineare Einheit. Die probabilistische Interpretation, die Aktivierungs-Nichtlinearitäten als kumulative Verteilungsfunktionen betrachtet, führte zur Einführung von Dropout als Regularisierer.
Auswirkungen und Kritik
Deep Learning trieb schnelle Fortschritte in Computervision, Spracherkennung, maschineller Übersetzung, natürlicher Sprachverarbeitung und, am sichtbarsten für die Öffentlichkeit, bei Text- und Bildgenerierung voran. Das Feld wurde auch auf Bioinformatik, Wirkstoffdesign, medizinische Bildanalyse, Klimawissenschaft, Materialprüfung und Brettspielprogramme angewendet, wo Ergebnisse in einigen Fällen die Leistung menschlicher Experten erreicht oder übertroffen haben. Kritiker merken an, dass tiefe Netze weitgehend undurchsichtig bleiben, als statistische Musterabgleicher fungieren, deren Fehler schwer vorherzusagen sein können, und enorme Energie- und Datenressourcen erfordern, was sowohl Umwelt- als auch Urheberrechtsbedenken aufwirft. Befürworter entgegnen, dass dasselbe Skalierungsrezept wiederholt Fähigkeiten hervorgebracht hat, die nicht explizit entworfen wurden, ein Muster, das zentral für laufende Debatten über die Entwicklung des Feldes hin zu allgemeinerer Intelligenz ist.
Neuere Entwicklungen
In den 2020er Jahren wurden große Sprachmodelle auf Basis der Transformer-Architektur, wie GPT und Hugging-Face-Transformers-Bibliotheken, zu Mainstream-Produkten. Deep Learning expandierte auch in generative Modelle wie GANs und Diffusionsmodelle für die Bildsynthese sowie neuronale Strahlungsfelder für die 3D-Szenenrekonstruktion. Fortschritte im Repräsentationslernen und unüberwachten Lernen verringern weiterhin die Abhängigkeit von beschrifteten Daten. Das Feld bleibt ein Schwerpunkt intensiver Forschung und öffentlicher Debatte, mit laufenden Bemühungen, Interpretierbarkeit, Effizienz und Ausrichtung an menschlichen Werten zu verbessern.