Ein gefiltertes Popping-Rekursionstransitionsnetzwerk (FPRTN) ist ein Computermodell zur Analyse natürlicher Sprache, das erstmals in einem technischen Bericht von 1988 durch Forscher der Universität Edinburgh beschrieben wurde. Es erweitert das frühere Formalismus des Rekursionstransitionsnetzwerks (RTN) um einen Mechanismus namens gefiltertes Popping, der es dem Netzwerk ermöglicht, bestimmte kontextsensitive grammatische Konstruktionen zu verarbeiten, die einfache RTNs nicht verarbeiten können. FPRTNs wurden im Rahmen der Forschung zur deterministischen Analyse entwickelt und später als früher Einfluss auf konnektionistische und neuronale Ansätze zur syntaktischen Analyse anerkannt.
Die Kernidee eines FPRTN ist ein Netzwerk aus Zuständen und Übergängen, das rekursiv Unter-Netzwerke aufrufen kann, ähnlich wie ein Kellerautomat. In einem Standard-RTN gibt eine Pop-Operation die Kontrolle von einem Unter-Netzwerk an den Aufrufer zurück, aber dies kann zu Mehrdeutigkeiten führen, wenn mehrere Unter-Netzwerke aktiv sind. Gefiltertes Popping fügt eine Bedingung hinzu - einen Filter -, der erfüllt sein muss, bevor ein Pop erlaubt wird, wodurch der Suchraum eingeschränkt wird und der Parser in der Lage ist, langreichweitige Abhängigkeiten und Kongruenzphänomene zu verarbeiten. Der Filter basiert typischerweise auf Merkmalsstrukturen oder Kontextinformationen, die durch das Netzwerk propagiert werden.
Historische Entwicklung
Das FPRTN wurde in den späten 1980er Jahren im Rahmen des Alvey Natural Language Research Programme im Vereinigten Königreich eingeführt. Die primäre Veröffentlichung war ein Bericht von 1988 mit dem Titel "Filtered Popping in Recursive Transition Networks" von Forschern wie Chris Mellish und anderen an der Universität Edinburgh. Die Arbeit baute auf früheren RTN-Modellen aus den 1970er Jahren auf, wie denen von William Woods bei Bolt Beranek and Newman (BBN), die im Frage-Antwort-System LUNAR verwendet wurden. Die Edinburgh-Gruppe zielte darauf ab, die Effizienz und Abdeckung von RTN-basierten Parsern für reale Texte zu verbessern.
Der Ansatz wurde später im Kontext von "erweiterten Transitionsnetzwerken" (ATNs) diskutiert, die Register- und Bedingungsmechanismen zu RTNs hinzufügten. FPRTNs boten eine stärker eingeschränkte Alternative zu ATNs, mit Fokus auf deterministische Analyse und Reduzierung von Backtracking. Die Technik wurde auch in der konnektionistischen Analyse untersucht, wo die Filterbedingungen als Aktivierungen neuronaler Netzwerke implementiert wurden, wodurch die symbolischen und subsymbolischen Paradigmen verbunden wurden.
Technische Beschreibung
Formal ist ein FPRTN ein gerichteter Graph mit einer Menge von Zuständen, einer Menge von beschrifteten Übergängen und einer Menge von Unter-Netzwerk-Aufruf- und Rückgabeoperationen. Jeder Übergang kann mit einer Bedingung verknüpft sein, und jede Pop-Operation hat einen Filter, der erfüllt sein muss. Der Parser verwaltet einen Stapel aktiver Unter-Netzwerk-Kontexte. Wenn ein Pop versucht wird, prüft der Filter die aktuelle Eingabe und die Stapelspitze; wenn der Filter fehlschlägt, wird das Pop blockiert, und der Parser muss alternative Pfade erkunden. Dieser Mechanismus ähnelt der Verwendung von Merkmalsunifikation in unifikationsbasierten Grammatiken und kann als Vorläufer der merkmalsbasierten Analyse in modernen NLP-Systemen angesehen werden.
Eine Schlüsseleigenschaft von FPRTNs ist, dass sie ausdrucksstärker als reguläre Grammatiken, aber weniger ausdrucksstark als vollständige kontextsensitive Grammatiken sind. Sie können kreuzserielle Abhängigkeiten verarbeiten, die in Sprachen wie Niederländisch und Schweizerdeutsch häufig vorkommen, aber sie tun dies auf eine rechnerisch handhabbare Weise. Der Filtermechanismus kann effizient implementiert werden, und das Modell wurde gezeigt, dass es bestimmte Konstruktionen in polynomieller Zeit analysiert, während uneingeschränkte ATNs exponentiell sein konnten.
Einfluss auf neuronale Modelle
Obwohl FPRTNs in der symbolischen Tradition entwickelt wurden, werden sie als Inspiration für spätere neuronale Netzwerkmodelle der Analyse zitiert. In den 1990er Jahren erforschten Forscher an der Universität Edinburgh und anderswo konnektionistische Implementierungen von RTNs, bei denen die Übergangsentscheidungen von neuronalen Netzwerken getroffen wurden. Diese Arbeit beeinflusste die Entwicklung von Sequenz-zu-Sequenz-Modellen und rekurrenten Netzwerken für die Sprachverarbeitung. In jüngerer Zeit ist die Idee, stapelartige Strukturen mit gelernten Controllern zu verwenden, in Modellen wie der neuronalen Stapelmaschine und dem differenzierbaren neuronalen Computer aufgetaucht, die in den 2010er Jahren bei Google DeepMind entwickelt wurden.
Der Mechanismus des gefilterten Poppings ist konzeptionell mit den Aufmerksamkeits- und Gating-Mechanismen in modernen Transformatoren verwandt. Zum Beispiel kann die Multi-Head-Aufmerksamkeit in Transformatoren als eine weiche Version des Filterns angesehen werden, bei der Informationen selektiv basierend auf gelernter Relevanz propagiert werden. Der explizite Stapel in FPRTNs ist analog zur Positionskodierung und schichtweisen Verarbeitung in Transformatoren, obwohl letztere nicht explizit für syntaktische Struktur ausgelegt sind. Forscher haben festgestellt, dass FPRTNs einen klaren formalen Rahmen für das Verständnis der induktiven Verzerrungen neuronaler Parser bieten.
Anwendungen und Vermächtnis
FPRTNs wurden hauptsächlich in experimentellen Parsern für Englisch und andere Sprachen verwendet. Sie wurden in das Alvey Natural Language Toolkit integriert, das in den späten 1980er Jahren an britische Universitäten verteilt wurde. Der Formalismus wurde auch in der Entwicklung der Core Language Engine (CLE) bei SRI International verwendet, einem großen Projekt in den 1990er Jahren. Die CLE verwendete eine Kombination aus Unifikationsgrammatik und RTN-ähnlichen Kontrollstrukturen, und ihr Design beeinflusste spätere kommerzielle Systeme wie die Sprachverständniskomponenten früher Sprachassistenten.
In den 2000er Jahren nahm das Interesse an symbolischer Analyse zugunsten statistischer und neuronaler Ansätze ab, aber das FPRTN-Konzept bleibt relevant in der Untersuchung von Grammatikformalismen und im Design hybrider Systeme. Die Idee des gefilterten Poppings wurde auf andere Bereiche angewendet, wie Programmanalyse und semantische Analyse, wo kontextsensitive Einschränkungen benötigt werden. Ab den 2020er Jahren wird der Formalismus gelegentlich in der Forschung zu großen Sprachmodellen und ihrer Fähigkeit, syntaktische Struktur zu erfassen, zitiert, wobei einige Studien das Verhalten von Transformatoren mit dem von RTN-basierten Parsern vergleichen.
Siehe auch
- Rekursionstransitionsnetzwerk
- augmented-transition-network
- Natürliche Sprachverarbeitung
- Syntaktische Analyse
- unification-grammar
- Neuronales Netzwerk
- Transformer
- Sequenz-zu-Sequenz
- Google DeepMind