Ein faltendes neuronales Netzwerk, oder CNN, ist eine Neuronale-Netzwerk-Architektur, die um faltende Schichten herum aufgebaut ist, die kleine, gemeinsame Filter über eine Eingabe anwenden, was sie besonders effektiv für gitterstrukturierte Daten wie Bilder macht, bei denen nahegelegene Pixel zusammenhängen und nützliche Muster, wie Kanten oder Texturen, überall im Bild auftreten können. Durch die Wiederverwendung derselben Filtergewichte an jeder räumlichen Position benötigen CNNs weit weniger Parameter als ein vollständig verbundenes Netzwerk vergleichbarer Größe und kodieren natürlich die Annahme, dass die Bedeutung eines Bildes weitgehend unverändert bleibt, wenn sein Inhalt verschoben wird, eine Eigenschaft, die als Translationsinvarianz bekannt ist.
Geschichte
Die konzeptionellen Wurzeln der Architektur reichen zurück zu Kunihiko Fukushimas Neocognitron, einem hierarchischen Modell des visuellen Kortex von 1980, beschrieben von Kunihiko Fukushima, das geschichtete Merkmalserkennung einführte, ohne bereits Backpropagation für das Training zu verwenden. Yann LeCun kombinierte faltende Schichten mit Backpropagation in den späten 1980er Jahren und entwickelte LeNet, das Mitte der 1990er Jahre handschriftliche Ziffern auf Bankschecks im kommerziellen Einsatz lesen konnte, einer der frühesten praktischen Erfolge des Deep Learning. CNNs blieben etwa zwei Jahrzehnte lang ein spezialisiertes Werkzeug, bis 2012 AlexNet, entworfen von Alex Krizhevsky mit Ilya Sutskever und Geoffrey Hinton, den ImageNet 2012 (AlexNet moment) ImageNet-Wettbewerb mit großem Abstand gewann, indem es ein tiefes CNN verwendete, das auf GPUs trainiert wurde, ein Ereignis, dem weithin zugeschrieben wird, den modernen Deep-Learning-Boom ausgelöst zu haben.
Architektur
Ein typisches CNN stapelt abwechselnd faltende Schichten, die lokale Muster mit gelernten Filtern erkennen, und Pooling-Schichten, die die räumliche Auflösung verringern, während sie die stärksten erkannten Merkmale beibehalten, und baut so fortschreitend von niedrigstufigen Mustern wie Kanten und Farben in frühen Schichten zu hochstufigen, semantischen Konzepten wie Gesichtern oder Objekten in tieferen Schichten auf. Die letzten Schichten sind normalerweise vollständig verbunden und ordnen die extrahierten Merkmale Ausgabeklassen zu. Spätere Architekturen wie VGGNet, ResNet und Inception trieben die Tiefe viel weiter voran, wobei ResNets Einführung von residuellen, oder Skip-, Verbindungen im Jahr 2015 das Problem der verschwindenden Gradienten löste, das zuvor sehr tiefe CNNs mit gewöhnlichem Gradientenabstieg schwer trainierbar gemacht hatte.
Anwendungen
CNNs wurden zur Standardarchitektur für Computer-Vision-Aufgaben, einschließlich Bildklassifikation, Objekterkennung, semantischer Segmentierung und Gesichtserkennung, und sie bilden die Grundlage für Komponenten von Wahrnehmungssystemen für autonomes Fahren, medizinischer Bildanalyse und frühen Generative-Adversarial-Network-Designs, bei denen CNNs typischerweise sowohl den Generator als auch den Diskriminator bildeten. Sie wurden auch außerhalb der Bildverarbeitung angewendet, zum Beispiel auf Audio-Spektrogramme und einige Textklassifikationsaufgaben, überall dort, wo Daten eine lokale, gitterartige Struktur haben, die ein gemeinsamer Filter ausnutzen kann.
Rückgang der relativen Dominanz
Seit etwa 2020 haben Vision Transformer, die die Transformer-Architektur und ihren Aufmerksamkeitsmechanismus auf Bildausschnitte anstelle von faltenden Filtern anpassen, die CNN-Leistung bei vielen groß angelegten Bildverarbeitungs-Benchmarks erreicht oder übertroffen, insbesondere wenn sie mit sehr großen Datensätzen trainiert werden, was eine Debatte darüber auslöste, ob die eingebauten räumlichen Annahmen der Faltung notwendig bleiben, sobald genügend Daten und Rechenleistung verfügbar sind. CNNs bleiben dennoch in der Praxis weit verbreitet, besonders in ressourcenbeschränkten oder Edge-AI-Umgebungen, weil ihre induktiven Verzerrungen sie dateneffizienter machen als Transformer, wenn Trainingsdaten begrenzt sind, und sie dienen weiterhin als Encoder in größeren multimodalen Systemen.