Natural-language understanding (NLU), auch Natural-Language-Interpretation (NLI) genannt, ist eine Teilmenge der künstlichen Intelligenz und der Verarbeitung natürlicher Sprache, die sich auf maschinelles Leseverständnis konzentriert. Es geht darum, Computern zu ermöglichen, Bedeutung aus menschlichem Spracheingang abzuleiten, ob gesprochen oder geschrieben. NLU wurde als ein KI-schweres Problem beschrieben, da es breites Weltwissen und die Fähigkeit erfordert, mit Mehrdeutigkeit, Kontext und Variabilität im Ausdruck umzugehen. Das Feld hat erhebliches kommerzielles Interesse aufgrund von Anwendungen in automatisiertem Schließen, maschineller Übersetzung, Fragenbeantwortung, Nachrichtensammlung, Textkategorisierung, Sprachaktivierung, Archivierung und groß angelegter Inhaltsanalyse.
NLU-Systeme variieren stark in Umfang und Tiefe. Breite bezieht sich auf die Größe des Vokabulars und der Grammatik, die ein System verarbeiten kann, während Tiefe beschreibt, wie genau sein Verständnis dem eines fließenden Muttersprachlers ähnelt. Einfache Befehlsinterpreter sind eng und flach, während Systeme, die vollständige Zeitungsartikel parsen, breit und tief sind. Die meisten realen Anwendungen liegen zwischen diesen Extremen, wie E-Mail-Routing-Systeme, die Nachrichten nach Thema klassifizieren, ohne tiefes semantisches Verständnis zu benötigen.
Historische Entwicklung
Frühe Versuche bei NLU stammen aus den 1960er Jahren. 1964 schrieb Daniel Bobrow das STUDENT-Programm für seine Dissertation am MIT, das Algebra-Textaufgaben durch Verständnis einfacher natürlicher Spracheingaben löste. Ein Jahr später schuf Joseph Weizenbaum am MIT ELIZA, ein interaktives Programm, das Konversation durch Musterabgleich von Schlüsselwörtern mit vorgefertigten Phrasen simulierte. Obwohl ELIZA echtes Verständnis vermissen ließ, zeigte es öffentliches Interesse an maschinellem Dialog.
1969 führte Roger Schank an der Stanford University die konzeptuelle Abhängigkeitstheorie ein, die Bedeutung durch primitive Aktionen darstellte und später einflussreich an der Yale University war. 1970 entwickelte William A. Woods das erweiterte Übergangsnetzwerk (ATN), einen Formalismus zum Parsen natürlicher Sprache mit rekursiven endlichen Automaten. 1971 vollendete Terry Winograd SHRDLU am MIT, das eine virtuelle Welt aus Blöcken durch englische Befehle verstehen und manipulieren konnte, ein Meilenstein in der Demonstration situierten Verständnisses.
In den 1970er und 1980er Jahren trieben Forschungsgruppen wie SRI International NLU-Techniken voran, und kommerzielle Bemühungen entstanden, darunter Symantec (gegründet von Gary Hendrix 1982) und Cognitive Systems Corp. (mitbegründet von Roger Schank). 1983 baute Michael Dyer das BORIS-System an der Yale University, das narratives Verständnis behandelte. Diese Systeme waren jedoch auf enge Domänen beschränkt und mangelten an allgemeinem Verständnis.
Die Ära des maschinellen Lernens
Das dritte Jahrtausend brachte Ansätze des maschinellen Lernens in die NLU. IBM Watson, das 2011 die Quizshow Jeopardy! gewann, verwendete statistische Methoden zur Fragenbeantwortung, obwohl Kritiker wie der Philosoph John Searle argumentierten, dass Watson die Fragen nicht wirklich verstand. In den 2010er Jahren repräsentierten Wort-Einbettungen wie word2vec Wörter als dichte Vektoren und erfassten syntaktische und semantische Beziehungen. Später führten transformerbasierte Modelle wie BERT groß angelegtes Vortraining gefolgt von Feinabstimmung ein, was die Leistung bei Aufgaben wie Fragenbeantwortung und Schlussfolgerung in natürlicher Sprache erheblich verbesserte.
Diese Fortschritte, angetrieben durch tiefes Lernen und neuronale Netze, führten zur Entwicklung von großen Sprachmodellen wie GPT-3 und seinen Nachfolgern, die fließenden Text erzeugen und viele NLU-Aufgaben mit hoher Genauigkeit ausführen. Experten debattieren jedoch, ob diese Modelle echtes Verständnis oder nur statistisches Musterabgleichen zeigen. Der Kognitionswissenschaftler John Ball, Erfinder der Patom-Theorie, argumentiert, dass konventionelle NLP immer noch scheitert, weil es tausende Wege gibt, etwas in menschlicher Sprache anzufordern. Wibe Wagemans bemerkte, dass bedeutungsvolle Konversation mit Maschinen erfordert, jedes Wort mit der richtigen Bedeutung basierend auf Kontext abzugleichen, wie es ein Dreijähriger ohne Raten tut.
Kernaufgaben und Techniken
NLU umfasst mehrere Kernaufgaben, darunter Erkennung benannter Entitäten, Wortarten-Tagging, syntaktisches Parsen, semantische Rollenmarkierung und Koreferenzauflösung. Diese Aufgaben speisen höherstufige Anwendungen wie Absichtserkennung in Dialogsystemen, Stimmungsanalyse und Schlussfolgerung in natürlicher Sprache. Traditionelle Ansätze verwendeten regelbasierte Grammatiken und handgefertigte Merkmale, aber moderne Systeme stützen sich überwiegend auf maschinelles Lernen, insbesondere auf Transformer-Architekturen.
Wort-Einbettungen wie word2vec und kontextuelle Einbettungen aus Modellen wie BERT ermöglichen es Systemen, Wörter so zu repräsentieren, dass Bedeutung basierend auf Verwendung erfasst wird. Vortraining auf massiven Korpora gefolgt von Feinabstimmung auf spezifische Aufgaben ist zum Standardparadigma geworden. Dieser Ansatz hat Durchbrüche in der Fragenbeantwortung ermöglicht, wo Systeme Antworten aus Passagen extrahieren können, und in der Schlussfolgerung in natürlicher Sprache, wo sie bestimmen, ob eine Hypothese aus einer Prämisse folgt.
Anwendungen und kommerzielles Interesse
NLU hat zahlreiche praktische Anwendungen. Sprachassistenten wie Apples Siri, Amazons Alexa und Google Assistant verlassen sich auf NLU, um Benutzerbefehle zu interpretieren. Kundendienst-Chatbots verwenden NLU, um Anfragen zu leiten und Antworten zu liefern. Textklassifikationssysteme sortieren automatisch E-Mails, Nachrichtenartikel und Rechtsdokumente. Maschinelle Übersetzungssysteme wie Google Translate verwenden NLU, um Quelltext zu verstehen und Übersetzungen zu generieren. Im Gesundheitswesen hilft NLU, Informationen aus klinischen Notizen zu extrahieren. Im Finanzwesen analysiert es Gewinnberichte und Nachrichten für Handelssignale.
Das kommerzielle Interesse ist stark, da NLU Aufgaben automatisieren kann, die zuvor menschliches Lesen und Verständnis erforderten. Unternehmen wie OpenAI, Anthropic und Google DeepMind investieren stark in die Entwicklung fortschrittlicher NLU-Modelle. Cloud-Anbieter wie Amazon Web Services, Microsoft Azure und Google Cloud bieten NLU-Dienste als APIs an. Die Einschränkungen aktueller Systeme, insbesondere ihr Mangel an robustem Alltagsverständnis, bleiben jedoch eine Barriere für vollständiges Verständnis.
Herausforderungen und zukünftige Richtungen
NLU steht vor anhaltenden Herausforderungen, einschließlich Mehrdeutigkeit, Kontextabhängigkeit und der Notwendigkeit von Weltwissen. Das Verständnis eines Satzes erfordert oft Wissen über die physische und soziale Welt, das nicht explizit ausgedrückt wird. Zum Beispiel erfordert „Der Pokal passt nicht in den braunen Koffer, weil er zu klein ist“ das Wissen, welches Objekt klein ist. Aktuelle Modelle kämpfen oft mit solchen pragmatischen Schlussfolgerungen.
Zukünftige Richtungen umfassen die Integration von NLU mit externen Wissensbasen, die Verbesserung von Few-Shot- und Zero-Shot-Lernen sowie die Entwicklung von Modellen, die schlussfolgern und ihre Entscheidungen erklären können. Forscher untersuchen auch multimodales Verständnis, bei dem Sprache mit Vision und anderen Modalitäten kombiniert wird. Stand der frühen 2020er Jahre hat kein System menschliches NLU-Niveau erreicht, und es bleibt ein offenes Problem in der künstlichen Intelligenz.