El procesamiento del lenguaje natural, o PLN, es el subcampo de la inteligencia artificial centrado en permitir que las computadoras procesen, interpreten y generen lenguaje humano, hablado o escrito. Abarca tareas que van desde las específicas, como la corrección ortográfica y el etiquetado de partes de la oración, hasta las abiertas, como la traducción, el resumen y la conversación, y es el campo padre de la tecnología de modelos de lenguaje grandes que domina el discurso de la IA a mediados de la década de 2020.
Era temprana: reglas y símbolos
Los primeros sistemas de PLN, desde la década de 1950 hasta la de 1980, se basaban en reglas lingüísticas elaboradas a mano y lógica simbólica, un enfoque alineado con la IA simbólica. ELIZA, un chatbot de 1966 creado por Joseph Weizenbaum, utilizaba un simple emparejamiento de patrones para simular a un psicoterapeuta rogeriano y se convirtió en una demostración temprana, aunque limitada, de las ambiciones del campo. Durante este período también se desarrollaron sistemas de traducción automática basados en reglas, con resultados mixtos.
Era estadística
Desde finales de la década de 1980 hasta la de 2000, el PLN se desplazó hacia métodos estadísticos, utilizando probabilidades aprendidas de corpus de texto en lugar de reglas escritas a mano para manejar tareas como traducción, etiquetado y análisis sintáctico. Este período produjo técnicas como los modelos de lenguaje de n-gramas y la traducción automática estadística, y estableció grandes corpus anotados como infraestructura de investigación central, un precursor del énfasis moderno en la escala de los datos de entrenamiento.
Era neuronal y de transformadores
Los enfoques neuronales comenzaron a reemplazar los pipelines estadísticos a principios de la década de 2010, ayudados por incrustaciones a nivel de palabra como Word2vec (2013), que representaban palabras como vectores densos que capturan relaciones semánticas, y por arquitecturas de redes neuronales recurrentes y LSTM para tareas de Seq2seq como la traducción. La introducción de la arquitectura transformador en 2017 resultó transformadora para el campo, permitiendo un entrenamiento mucho más eficiente en grandes corpus de texto. BERT (2018) mostró el poder del preentrenamiento a gran escala para la comprensión del lenguaje, mientras que la serie GPT demostró que un único modelo autorregresivo entrenado en la predicción del siguiente token a una escala suficiente podía realizar una enorme gama de tareas de PLN sin arquitecturas específicas para cada tarea, culminando en modelos de lenguaje grandes de propósito general.
Alcance moderno
La investigación y las aplicaciones contemporáneas del PLN abarcan la traducción automática, el reconocimiento de voz, la búsqueda semántica, el análisis de sentimientos, el resumen, la respuesta a preguntas y los sistemas de diálogo que sustentan los chatbots y los asistentes de voz. Desde el auge de los modelos de lenguaje grandes, muchas subtareas de PLN previamente distintas ahora se abordan comúnmente mediante la indicación de un único modelo de propósito general en lugar de entrenar arquitecturas especializadas, un cambio que redujo la necesidad de sistemas supervisados estrechos pero planteó nuevas cuestiones de evaluación y fiabilidad, incluida la alucinación.
Desafíos
Los sistemas de PLN continúan teniendo dificultades con idiomas de bajos recursos que carecen de grandes corpus de entrenamiento, modismos y contextos culturalmente específicos, y una fiabilidad fáctica consistente. El sesgo presente en el texto de entrenamiento puede reproducirse o amplificarse en las salidas del modelo, una preocupación planteada de manera prominente en la crítica del loro estocástico, y sigue siendo un área activa de investigación junto con esfuerzos más amplios en la mitigación del sesgo algorítmico.