Ein neuronales Kapselnetzwerk (CapsNet) ist ein maschinelles Lernsystem, das eine Art künstliches neuronales Netzwerk (ANN) darstellt und zur besseren Modellierung hierarchischer Beziehungen verwendet werden kann. Der Ansatz ist ein Versuch, die biologische neuronale Organisation genauer nachzuahmen. Die Idee besteht darin, Strukturen namens „Kapseln“ zu einem convolutional neuronalen Netzwerk (CNN) hinzuzufügen und die Ausgaben mehrerer dieser Kapseln wiederzuverwenden, um stabilere (bezüglich verschiedener Störungen) Repräsentationen für höhere Kapseln zu bilden. Die Ausgabe ist ein Vektor, der aus der Wahrscheinlichkeit einer Beobachtung und einer Pose für diese Beobachtung besteht. Dieser Vektor ähnelt dem, was beispielsweise bei der Klassifikation mit Lokalisierung in CNNs durchgeführt wird.
Unter anderem adressieren CapsNets das „Picasso-Problem“ in der Bilderkennung: Bilder, die alle richtigen Teile enthalten, aber nicht in der korrekten räumlichen Beziehung zueinander stehen (z. B. bei einem „Gesicht“ sind die Positionen von Mund und einem Auge vertauscht). Für die Bilderkennung nutzen CapsNets die Tatsache, dass Blickwinkeländerungen zwar nichtlineare Effekte auf Pixelebene haben, aber lineare Effekte auf Teil-/Objektebene. Dies kann mit dem Umkehren des Renderns eines Objekts aus mehreren Teilen verglichen werden.
Geschichte
Im Jahr 2000 beschrieben Geoffrey Hinton und Kollegen ein Bildgebungssystem, das Segmentierung und Erkennung in einem einzigen Inferenzprozess unter Verwendung von Parse-Bäumen kombinierte. Sogenannte Glaubwürdigkeitsnetzwerke beschrieben die gemeinsame Verteilung über die latenten Variablen und über die möglichen Parse-Bäume. Dieses System erwies sich als nützlich für die MNIST-Datenbank handschriftlicher Ziffern.
Ein dynamischer Routing-Mechanismus für Kapselnetzwerke wurde 2017 von Hinton und seinem Team eingeführt. Der Ansatz behauptete, die Fehlerraten bei MNIST zu reduzieren und die Größe der Trainingssätze zu verringern. Die Ergebnisse wurden als erheblich besser als ein CNN bei stark überlappenden Ziffern beschrieben. In Hintons ursprünglicher Idee sollte eine Minikolumne eine multidimensionale Entität repräsentieren und erkennen.
Transformationen
Eine Invariante ist eine Objekteigenschaft, die sich durch eine Transformation nicht ändert. Beispielsweise ändert sich die Fläche eines Kreises nicht, wenn der Kreis nach links verschoben wird. Informell ist eine Äquivariante eine Eigenschaft, die sich unter Transformation vorhersagbar ändert. Beispielsweise bewegt sich der Mittelpunkt eines Kreises um denselben Betrag wie der Kreis, wenn dieser verschoben wird. Eine Nicht-Äquivariante ist eine Eigenschaft, deren Wert sich unter einer Transformation nicht vorhersagbar ändert. Beispielsweise bedeutet die Transformation eines Kreises in eine Ellipse, dass sein Umfang nicht mehr als π mal dem Durchmesser berechnet werden kann.
In der Computer Vision wird erwartet, dass die Klasse eines Objekts eine Invariante gegenüber vielen Transformationen ist. D. h., eine Katze bleibt eine Katze, wenn sie verschoben, auf den Kopf gestellt oder verkleinert wird. Viele andere Eigenschaften sind jedoch stattdessen äquivariant. Das Volumen einer Katze ändert sich, wenn sie skaliert wird. Äquivariante Eigenschaften wie eine räumliche Beziehung werden in einer Pose erfasst, Daten, die die Translation, Rotation, Skalierung und Spiegelung eines Objekts beschreiben. Translation ist eine Änderung des Ortes in einer oder mehreren Dimensionen. Rotation ist eine Änderung der Ausrichtung. Skalierung ist eine Änderung der Größe. Spiegelung ist ein Spiegelbild.
Unüberwachte CapsNets lernen eine globale lineare Mannigfaltigkeit zwischen einem Objekt und seiner Pose als Gewichtsmatrix. Mit anderen Worten: CapsNets können ein Objekt unabhängig von seiner Pose identifizieren, anstatt lernen zu müssen, das Objekt zu erkennen, während seine räumlichen Beziehungen als Teil des Objekts einbezogen werden. In CapsNets kann die Pose andere Eigenschaften als räumliche Beziehungen umfassen, z. B. Farbe (Katzen können verschiedene Farben haben). Die Multiplikation des Objekts mit der Mannigfaltigkeit positioniert das Objekt (für ein Objekt im Raum).
Pooling
CapsNets lehnen die Pooling-Schicht-Strategie herkömmlicher CNNs ab, die die Menge an Details reduziert, die in der nächsten höheren Schicht verarbeitet werden müssen. Pooling ermöglicht ein gewisses Maß an Translationsinvarianz (es kann dasselbe Objekt an einem etwas anderen Ort erkennen) und erlaubt eine größere Anzahl von Merkmalstypen. Befürworter von CapsNets argumentieren, dass Pooling:
- die biologische Formwahrnehmung verletzt, da es keinen intrinsischen Koordinatenrahmen hat;
- Invarianz (Verwerfen von Positionsinformationen) anstelle von Äquivarianz (Entwirren dieser Informationen) bietet;
- die lineare Mannigfaltigkeit ignoriert, die vielen Variationen zwischen Bildern zugrunde liegt;
- statisch routet, anstatt einen potenziellen „Fund“ dem Merkmal zu kommunizieren, das es würdigen kann;
- nahegelegene Merkmalsdetektoren beschädigt, indem es die Informationen löscht, auf die sie sich verlassen.
Kapseln
Eine Kapsel ist eine Gruppe von Neuronen, die einzeln für verschiedene Eigenschaften eines Objekttyps aktiviert werden, wie Position, Größe und Farbton. Formal ist eine Kapsel eine Gruppe von Neuronen, die gemeinsam einen Aktivitätsvektor erzeugen, wobei ein Element für jedes Neuron dessen Instanziierungswert (z. B. Farbton) enthält. Grafikprogramme verwenden den Instanziierungswert, um ein Objekt zu zeichnen. CapsNets versuchen, diese aus ihrer Eingabe abzuleiten. Die Wahrscheinlichkeit des Vorhandenseins der Entität in einer bestimmten Eingabe ist die Länge des Vektors, während die Ausrichtung des Vektors die Eigenschaften der Kapsel quantifiziert.
Künstliche Neuronen geben traditionell einen skalaren, reellwertigen Aktivierungswert aus, der lose die Wahrscheinlichkeit einer Beobachtung darstellt. CapsNets ersetzen Merkmalsdetektoren mit Skalarausgabe durch Kapseln mit Vektorausgabe und Max-Pooling durch Routing-by-Agreement. Da Kapseln unabhängig sind, ist die Wahrscheinlichkeit einer korrekten Erkennung viel höher, wenn mehrere Kapseln übereinstimmen. Ein minimaler Cluster aus zwei Kapseln, die eine sechsdimensionale Entität betrachten, würde nur einmal in einer Million Versuchen zufällig innerhalb von 10 % übereinstimmen. Mit zunehmender Anzahl von Dimensionen nimmt die Wahrscheinlichkeit einer Übereinstimmung über einen größeren Cluster mit höheren Dimensionen exponentiell ab.
Kapseln in höheren Schichten nehmen Ausgaben von Kapseln in niedrigeren Schichten entgegen und akzeptieren diejenigen, deren Ausgaben clusterbildend sind. Ein Cluster führt dazu, dass die höhere Kapsel eine hohe Wahrscheinlichkeit der Beobachtung ausgibt, dass eine Entität vorhanden ist, und auch eine hochdimensionale (20-50+) Pose ausgibt. Höherstufige Kapseln ignorieren Ausreißer und konzentrieren sich auf Cluster. Dies ähnelt der Hough-Transformation, dem RHT und RANSAC aus der klassischen digitalen Bildverarbeitung.
Routing durch Übereinstimmung
Die Ausgaben einer Kapsel (Kind) werden gemäß der Fähigkeit des Kindes, die Ausgaben der Eltern vorherzusagen, an Kapseln in der nächsten Schicht (Eltern) weitergeleitet. Im Laufe weniger Iterationen können die Ausgaben jedes Elternteils mit den Vorhersagen einiger Kinder konvergieren und von denen anderer divergieren, was bedeutet, dass dieser Elternteil in der Szene vorhanden oder nicht vorhanden ist. Für jeden möglichen Elternteil berechnet jedes Kind einen Vorhersagevektor, indem es seine Ausgabe mit einer Gewichtsmatrix (durch Backpropagation trainiert) multipliziert. Als Nächstes wird die Ausgabe des Elternteils als Skalarprodukt einer Vorhersage mit einem Koeffizienten berechnet, der die Wahrscheinlichkeit darstellt, dass dieses Kind zu diesem Elternteil gehört. Ein Kind, dessen Vorhersagen relativ nahe an der resultierenden Ausgabe liegen, erhöht sukzessive den Koeffizienten zwischen diesem Elternteil und Kind und verringert ihn für andere.
Kapselnetzwerke bleiben ein aktives Forschungsgebiet im Bereich Deep Learning und bieten eine Alternative zu traditionellen CNNs für Aufgaben, die explizite räumliche Hierarchien erfordern. Sie wurden in Kontexten wie künstlicher Intelligenz und maschinellem Lernen untersucht, mit potenziellen Anwendungen in Bereichen wie Computer Vision und Robotik. Obwohl sie nicht so weit verbreitet sind wie Modelle auf Basis von Transformatoren, inspirieren sie weiterhin Arbeiten zu äquivarianten Repräsentationen und Routing-Mechanismen.