Neuronale maschinelle Übersetzung (NMT) ist ein Ansatz zur maschinellen Übersetzung, der ein künstliches neuronales Netz verwendet, um die Wahrscheinlichkeit einer Sequenz von Wörtern vorherzusagen, wobei typischerweise ganze Sätze in einem einzigen integrierten Modell modelliert werden. Im Gegensatz zu früheren statistischen Methoden, die Sätze in Phrasen zerlegten und separate Komponenten anwandten, behandelt NMT die Übersetzung als ein End-to-End-Lernproblem, bei dem ein neuronales Netz trainiert wird, um einen Quellsatz direkt auf einen Zielsatz abzubilden. Dieser Ansatz ist zum dominierenden Paradigma in der maschinellen Übersetzung geworden und kann unter bestimmten Bedingungen bei der Übersetzung zwischen Sprachen mit hohen Ressourcen Übersetzungen erzeugen, die mit menschlichen Übersetzungen konkurrieren können. Es bleiben jedoch Herausforderungen bestehen, insbesondere für Sprachen mit begrenzten hochwertigen Daten, für Domänenverschiebungen zwischen Trainingsdaten und realen Texten sowie für eine Tendenz zu wörtlichen Übersetzungen.
NMT-Systeme weisen potenziellen Übersetzungen eine Wahrscheinlichkeit zu und suchen nach dem wahrscheinlichsten Ergebnis. Die meisten Modelle sind autoregressiv, das heißt, sie erzeugen jeweils ein Zieltoken und konditionieren jede Vorhersage auf den Quellsatz und zuvor generierte Token. Die Wahrscheinlichkeit der gesamten Übersetzung ist das Produkt dieser einzelnen Token-Wahrscheinlichkeiten. Architektonisch folgen die meisten NMT-Modelle einem Encoder-Decoder Architecture-Design: Ein Encoder verarbeitet den Quellsatz in eine Vektor- oder Matrixdarstellung, und ein Decoder generiert das Zielwort Token für Token, wobei er diese Darstellung und seine eigenen bisherigen Ausgaben verwendet. Dieser Prozess wird fortgesetzt, bis der das Ziel vom Sinness eines speziellen Ende-des-Satzes-Tokens erzeugt wird.
Historische Entwicklung
Die Wurzeln des NMT reichen bis in die späten 1980er Jahre zurück. Im Jahr 1987 demonstrierte Robert B. Allen ein Feed-Forward-Neuronales Netzwerk zur Übersetzung automatisch generierter englischer Sätze mit einem begrenzten Wortschatz von 31 Wörtern ins Spanische. Da das Netzwerk keinen Mechanismus zur Verarbeitung variabler Längen hatte, wurden Eingabe- und Ausgabeschichten so dimensioniert, dass sie die längsten Sätze der jeweiligen Sprachen aufnehmen konnten. Allen schlug auch vor, autoassoziative Modelle zur Verschlüsselung und Entschlüsselung zu verwenden.
Im Jahr 1991 erweiterte Lonnie Chrisman diese Arbeit, indem er separate rekursive autoassoziative Speicher (RAAM)-Netzwerke, entwickelt von Jordan B. Pollack, für die Quell- und Zielsprachen trainierte. Diese Netzwerke codierten Sätze beliebiger Länge in versteckte Repräsentationen fester Größe und decodierten sie zurück, mit der zusätzlichen Einschränkung, dass die beiden Netzwerke eine versteckte.Repräsentation, was die Übersetzung ermöglichte. Im Jahr 1997 vereinfachten Forcada und Ñeco dies zu einem rekursiven heteroassoziativen Speicher, der direkt einen Quell-Encoder und einen Ziel-Dekoder trainierte. Ebenfalls im Jahr 1997 verwendeten Castaño und Casacuberta ein Elman rekurrentes neuronales Netzwerk für eine Übersetzungsaufgabe (Zeitraum von 1997).
Trotz dieser frühen Fortschritte reichten die Rechenressourcen der Zeit für die großen Datensätze, die für reale Übersetzungen erforderlich sind. Folglich wurde statistische maschinelle Übersetzung in den 1990er und 2000er Jahren zum Stand der Technik.
Hybridansätze
Während der Ära der statistischen maschinellen Übersetzung integrierten einige Forscher neuronale Methoden in das bestehende Rahmenwerk. Holger Schwenk und Kollegen entstandene und andere, die die traditionelle Verknüpfung (n-gramm Sprachmodelle) durch neuronale Sprachmodelle ersetzten und Feedschicht-Netzwerke verwendeten, um Wahrscheinlichkeit der PhrasenÜbersetzung zu schätzen. Diese Hybridsysteme behielten die für statistische Ansätze typische loglineare Kombination des verwenden bei, nutzten aber neuronale Komponenten zur Verbesserung spezifischer Teilprobleme.
Der Seq2seq-Durchbruch
Die moderne Ära des End-to-End-NMT begann 2013 und 2014. Kalchbrenner und Blunsom verwandelten ein neuronales Netzwerk (CNN) zur Kodierung der Quelle, während Cho et al. und Sutskever et al. unabhängig voneinander rekursive neuronale Netze (RNNs) einführten. Alle drei nutzten einen RNN-Decoder, der auf ständiger Codierung der Quelle (Risiko) und eines RNN für den Decoder beruht. Diese Modelle waren jedoch bei längeren Sätzen nur schlecht un, eine Einschränkung, die 2014 von Bahdanau et al. mit der Einführung der Aufmerksamkeit (attention) adressiert wurde. Bei jedem Dekodierschritt konnte die Aufmerksamkeit die Aufmerksamkeit usw. des Decoders auf verschiedene Teile des Quellsatzes richten und so automatisch einen Kontextvektor berechnen, der die Übersetzungsqualität verbesserte, um bei längeren Eingaben.
Moderne Architekturen und Fortschritte
Die Aufmerksamkeitsmechanismus wurde zu einem Grundbaustein nachfolgender NMT-Systeme. Im Jahr 2017 ersetzte die Transformer (architecture) Architektur, vorgestellt von Vaswani et al., und zu AvaMulti-Head Attention um rekursive und faltende Schichten, und läuft parallel Verarbeitung und eine bessere Bewältigung von langfristigen Abhängigkeiten. Transformers wurden schnell zum Standard für NMT und unterstützten die Entwicklung von Large language modeln, die durch Vorwahltraining mittlerweile Translation ( maschinelle Übersetzung) genannte Funktion weiter verbesserten.
Moderne NMT-Systeme enthalten oft Techniken wie Beam Search (Strahlsuche), um eine Data Augmentation Verbesserung des oder System zu ermöglichen, und Model Pruning für Effizienz und Speichernutzung. Der Einsatz find in großen Cloud-Anbietern, darunter Google Cloud, Amazon Web Services und Microsoft Azure sowie auf spezialisierte KI-Unternehmen. Trotz dieser Fortschritte hat NMT weiterhin mit der Verarbeitung ressourcenarmer Sprachen und der Domain-Adaption zu kämpfen, und sie kann übermäßig wörtliche Ausgaben liefern, dabei usw.
Bewertung und Auswirkungen
NMT-Systeme werden typischerweise mit automatisierten Metriken wie z. B. BLEU evaluation. Die Auswirkungen des NMT gehen über Übersetzungstools hinaus: Sie haben Bereiche wie das Feld von Generative AI und Artificial intelligence im Stem mehr,wird beeinflusst, die Auswirkungen der End-to-End-Schiffertigkeit demonstrieren. Bis zur Mitte der 2020er Jahre entwickelt sich NMT weiter, mit Forschungsschwerpunkt auf Verbesserung der Effizienz, Verwaltung multilingualer Szenarien und Integration des Kontexts für die allgemeine Kenntnis der Einsatz und die Behebung von Einschränkungen.
{Wobei die Verwundung von Schwächen offen bleibt}. (Das Ende bleibt bestehen)