Natural language processing, kurz NLP, ist das Teilgebiet der künstlichen Intelligenz, das sich darauf konzentriert, Computern die Verarbeitung, Interpretation und Generierung menschlicher Sprache zu ermöglichen, gesprochen oder geschrieben. Es umfasst Aufgaben, die von engen Bereichen wie Rechtschreibprüfung und Part-of-Speech-Tagging bis hin zu offenen Bereichen wie Übersetzung, Zusammenfassung und Konversation reichen, und ist das übergeordnete Feld der Large-Language-Model-Technologie, die die KI-Diskussion Mitte der 2020er-Jahre dominiert.
Frühe Ära: Regeln und Symbole
Die frühesten NLP-Systeme, von den 1950er- bis in die 1980er-Jahre, basierten auf handgefertigten linguistischen Regeln und symbolischer Logik, ein Ansatz, der mit symbolischer KI übereinstimmt. ELIZA, ein 1966 von Joseph Weizenbaum erstellter Chatbot, verwendete einfaches Musterabgleichen, um einen rogerianischen Psychotherapeuten zu simulieren, und wurde zu einer frühen, wenn auch begrenzten Demonstration der Ambitionen des Feldes. Regelbasierte maschinelle Übersetzung-Systeme wurden in dieser Zeit ebenfalls entwickelt, mit gemischtem Erfolg.
Statistische Ära
Von den späten 1980er- bis in die 2000er-Jahre verlagerte sich NLP hin zu statistischen Methoden, die Wahrscheinlichkeiten aus Textkorpora lernten, anstatt handgeschriebene Regeln zu verwenden, um Aufgaben wie Übersetzung, Tagging und Parsing zu bewältigen. Diese Periode brachte Techniken wie n-Gramm-Sprachmodelle und statistische maschinelle Übersetzung hervor und etablierte große annotierte Korpora als zentrale Forschungsinfrastruktur, ein Vorläufer des modernen Schwerpunkts auf Trainingsdatengröße.
Neuronale und Transformer-Ära
Neuronale Ansätze begannen in den frühen 2010er-Jahren, statistische Pipelines zu ersetzen, unterstützt durch Worteinbettungen wie Word2vec (2013), die Wörter als dichte Vektoren darstellten, die semantische Beziehungen erfassen, sowie durch rekurrente neuronale Netze und LSTM-Architekturen für Seq2seq-Aufgaben wie Übersetzung. Die Einführung der Transformer-Architektur im Jahr 2017 erwies sich als transformativ für das Feld und ermöglichte eine weitaus effizientere Verarbeitung großer Textkorpora. BERT (2018) zeigte die Leistungsfähigkeit von groß angelegtem Vortraining für Sprachverständnis, während die GPT-Serie demonstrierte, dass ein einzelnes autoregressives Modell, das auf Next-Token-Prädiktion in ausreichendem Umfang trainiert wurde, eine enorme Bandbreite an NLP-Aufgaben ohne aufgabenspezifische Architekturen bewältigen kann, was in allgemeinen Large Language Models gipfelte.
Moderner Umfang
Zeitgenössische NLP-Forschung und -Anwendungen umfassen maschinelle Übersetzung, Spracherkennung, semantische Suche, Stimmungsanalyse, Zusammenfassung, Fragenbeantwortung und Dialogsysteme, die Chatbots und Sprachassistenten zugrunde liegen. Seit dem Aufstieg der Large Language Models werden viele zuvor getrennte NLP-Teilaufgaben nun üblicherweise durch Prompting eines einzelnen allgemeinen Modells adressiert, anstatt spezialisierte Architekturen zu trainieren, eine Verschiebung, die den Bedarf an engen überwachten Systemen reduzierte, aber neue Fragen zu Evaluierung und Zuverlässigkeit aufwarf, einschließlich Halluzination.
Herausforderungen
NLP-Systeme kämpfen weiterhin mit ressourcenarmen Sprachen, denen große Trainingskorpora fehlen, mit kulturspezifischen Redewendungen und Kontext sowie mit konsistenter faktischer Zuverlässigkeit. Verzerrungen in Trainingsdaten können in Modellausgaben reproduziert oder verstärkt werden, ein Anliegen, das prominent in der Stochastic-Parrot-Kritik aufgeworfen wurde, und bleibt ein aktives Forschungsgebiet neben breiteren Bemühungen zur Minderung von algorithmischer Verzerrung.