LeNet ist eine Reihe von Architekturen für faltende neuronale Netze (CNN), die zwischen 1988 und 1998 von einer Forschungsgruppe der AT&T Bell Laboratories rund um Yann LeCun entwickelt wurden. Diese Netze wurden für das Lesen kleiner Graustufenbilder von handgeschriebenen Ziffern und Buchstaben konzipiert und in Geldautomaten zur Erkennung von Schecks eingesetzt. Faltende neuronale Netze sind eine Art von vorwärtsgerichteten neuronalen Netzen, deren künstliche Neuronen auf einen Teilbereich der umgebenden Zellen reagieren und die bei der Verarbeitung großer Bildmengen gute Ergebnisse erzielen. LeNet-5 war eines der ersten faltenden neuronalen Netze und spielte eine historisch bedeutende Rolle in der Entwicklung des Deep Learning. Wenn ohne weitere Bezeichnung von LeNet die Rede ist, ist in der Regel die Version von 1998, LeNet-5, gemeint, die bekannteste Variante.
Entwicklungsgeschichte
Im Oktober 1988 wechselte LeCun in die Abteilung für Adaptive Systeme der AT&T Bell Laboratories in Holmdel, New Jersey, die von Lawrence D. Jackel geleitet wurde. Ende November 1988 veröffentlichten John S. Denker und Kollegen ein neuronales Netzdesign zur Erkennung handgeschriebener Postleitzahlen, dessen erste Verbindungsschichten jedoch noch manuell abgestimmt waren.
1989 wandte Yann LeCun mit Kollegen bei Bell Labs erstmals den Backpropagation-Algorithmus auf praktische Anwendungen an. Sie waren überzeugt, dass die Generalisierungsfähigkeit des Netzes durch die Einbeziehung von Wissen über die Aufgabenstellung verbessert werden konnte. Sie kombinierten ein faltendes neuronales Netz, das mit Backpropagation trainiert wurde, zum Lesen handgeschriebener Zahlen und setzten es erfolgreich zur Erkennung von Postleitzahlen des US-Postdienstes ein. Dies war der Prototyp des später so genannten LeNet-1. Im selben Jahr beschrieb LeCun in einer weiteren Arbeit das Problem der Erkennung kleiner handgeschriebener Ziffern und zeigte, dass einschichtige Netze trotz linearer Separierbarkeit des Problems nur eine schwache Generalisierungsfähigkeit aufwiesen. Bei Verwendung verschiebungsinvarianter Merkmalsdetektoren in einem mehrschichtigen, stark eingeschränkten Netz erzielte das Modell dagegen sehr gute Ergebnisse. Diese Resultate belegten, dass die Minimierung der Anzahl freier Parameter die Generalisierungsfähigkeit neuronaler Netze verbessern kann.
1989 beschrieb das Papier, das LeNet-1 einführte, erneut die Anwendung von Backpropagation-Netzen auf die Erkennung handgeschriebener Ziffern. Die Daten wurden nur minimal vorverarbeitet, und das Modell war gezielt für die Aufgabe entworfen und stark eingeschränkt. Die Eingabedaten bestanden aus Bildern, die jeweils eine Ziffer enthielten. Bei den Tests mit den digitalisierten Postleitzahlendaten des US-Postdienstes erreichte das Modell eine Fehlerrate von nur 1 % bei einer Zurückweisungsrate von etwa 9 %.
Die Forschungsarbeiten wurden in den folgenden vier Jahren fortgesetzt. 1994 wurde der MNIST-Datensatz entwickelt, für den LeNet-1 zu klein war; daher wurde ein neues Netz, LeNet-4, mit diesem Datensatz trainiert. Ein Jahr später verglich das Team der AT&T Bell Labs in einer Veröffentlichung verschiedene Verfahren zur Erkennung handgeschriebener Zeichen anhand standardisierter Erkennungsaufgaben für handgeschriebene Ziffern. Die Modelle wurden miteinander verglichen, und die Ergebnisse zeigten, dass das neueste Netz die anderen Verfahren übertraf.
1998 stellten Yann LeCun, Leon Bottou, Yoshua Bengio und Patrick Haffner Beispiele für praktische Anwendungen neuronaler Netze vor, darunter zwei Systeme zur Online-Erkennung handgeschriebener Zeichen sowie Modelle, die täglich Millionen von Schecks lesen konnten. In dieser Arbeit wurde auch LeNet-5 beschrieben. Die Forschung war sehr erfolgreich und weckte großes Interesse an neuronalen Netzen. Obwohl sich die Architektur der heute leistungsfähigsten neuronalen Netze von derjenigen von LeNet unterscheidet, bildete dieses Netz den Ausgangspunkt für eine Vielzahl moderner Netzarchitekturen und lieferte wichtige Impulse für das gesamte Feld.
Architektur
LeNet weist mehrere typische Merkmale moderner faltender neuronaler Netze auf, darunter Faltungsschichten, Pooling-Schichten und voll verbundene Schichten. Jede Faltungsschicht besteht aus drei Komponenten: Faltung, Pooling und nichtlineare Aktivierungsfunktion. Die Faltung dient zur Extraktion räumlicher Merkmale (ursprünglich als rezeptive Felder bezeichnet), das Subsampling erfolgt durch Average-Pooling, und als Aktivierungsfunktion wird der Tangens hyperbolicus (tanh) verwendet. Die abschließenden Schichten sind voll verbunden und dienen der Klassifikation. Zwischen den Schichten bestehen zudem sparse Verbindungen, um die Rechenkomplexität zu reduzieren.
1989 veröffentlichte die Gruppe um LeCun einen Bericht, der die Netze „Net-1“ bis „Net-5“ umfasste. Im Laufe der Zeit bis 1998 gab es zahlreiche Weiterentwicklungen, und die Benennung der Varianten ist nicht immer einheitlich. Wenn heute allgemein von „LeNet“ gesprochen wird, ist damit meist die Version von 1998, LeNet-5, gemeint. Die genaue Zuordnung der Bezeichnungen LeNet-1, LeNet-4 und LeNet-5 ist nicht immer eindeutig; was genau mit LeNet-2 und LeNet-3 gemeint ist, bleibt unklar.
Net-1 bis Net-5
Die ursprünglichen Netze von 1989 wurden in einem Bericht vorgestellt. Bei allen Varianten war die letzte Schicht voll verbunden. Das ursprüngliche Papier erläutert die verwendete Padding-Strategie nicht. Alle Zellen besitzen einen unabhängigen Bias, einschließlich der Ausgabezellen der Faltungsschichten.
- Net-1: Keine verborgenen Schichten, voll verbunden. Eingabeformat (16×16) → 10 Ausgaben.
- Net-2: Eine verborgene, voll verbundene Schicht mit 12 Einheiten. Eingabeformat (16×16) → 12 → 10.
- Net-3: Zwei verborgene Faltungsschichten. Eingabeformat (16×16) → (8×8) → (4×4) → 10. Beide Schichten sind lokal verbunden, mit einer Filtermaske der Größe 3×3 und einer Schrittweite (Stride) von 2.
- Net-4: Zwei verborgene Schichten, die erste ist eine Faltungsschicht, die zweite ist lokal verbunden. Eingabeformat (16×16) → (8×8×2) → (4×4) → 10. Die Faltungsschicht verwendet 2 Filter der Größe 3×3 mit Schrittweite 2; die lokal verbundene Schicht hat dieselbe Filtergröße und Schrittweite.
Vermächtnis
Der Einfluss von LeNet reicht weit über seine unmittelbare Anwendung hinaus. Es zeigte die Wirksamkeit des Backpropagation-Verfahrens beim Training tiefer Netze und führte zentrale architektonische Konzepte ein, die später zum Standard in modernen CNNs wurden. Der Erfolg von LeNet beim Lesen handgeschriebener Ziffern weckte breites Interesse an neuronalen Netzen und legte das Fundament für spätere Entwicklungen im Bereich des maschinellen Lernens und der künstlichen Intelligenz. Seine Prinzipien finden sich in modernen Architekturen wieder, auch wenn diese inzwischen erheblich weiterentwickelt wurden. Der 1994 für das Training von LeNet-4 entwickelte MNIST-Datensatz ist bis heute ein Standard-Benchmark in diesem Forschungsfeld. Der praktische Einsatz von LeNet in Geldautomaten zur Scheckerkennung zeigte eindrucksvoll die Anwendbarkeit neuronaler Netze in der realen Welt und trug wesentlich zur Verbreitung des Deep Learning bei.