BERT (Bidirectional Encoder Representations from Transformers) es un modelo de representación del lenguaje lanzado por Google en octubre de 2018. Fue una de las primeras aplicaciones ampliamente influyentes de la arquitectura Transformer (architecture) para la comprensión del lenguaje, y su lanzamiento se cita a menudo como un punto de inflexión que convirtió el Pretraining basado en transformers en el paradigma dominante en el Natural language processing.
Arquitectura y entrenamiento
BERT utiliza solo la mitad del codificador de la arquitectura transformer, en contraste con el diseño autorregresivo basado en decodificador que luego empleó la serie GPT. Se entrena con dos objetivos auto-supervisados: modelado de lenguaje enmascarado, en el que palabras aleatorias de una oración se ocultan y el modelo debe predecirlas usando contexto de ambas direcciones, y predicción de la siguiente oración, en la que el modelo aprende si una oración sigue plausiblemente a otra. Este entrenamiento bidireccional permitió que BERT construyera representaciones informadas simultáneamente por el contexto precedente y siguiente, una ventaja sobre enfoques anteriores unidireccionales o superficialmente bidireccionales como word2vec y ELMo.
BERT se lanzó en varios tamaños, más notablemente BERT-base (110 millones de parámetros) y BERT-large(340 millones de parámetros, modestos según estándares posteriores pero grandes para su época), y Google publicó los pesos preentrenados abiertamente, permitiendo a los investigadores ajustar el modelo para tareas específicas posteriores como respuesta a preguntas, análisis de sentimientos, y reconocimiento de entidades nombradas con cantidades comparativamente pequeñas de datos específicos de la tarea.
Impacto
En su lanzamiento, BERT logró resultados de última generación en una amplia gama de puntos de referencia de PLN, incluida la suite GLUE y el conjunto de datos de respuesta a preguntas SQuAD, a menudo por un margen sustancial sobre métodos anteriores. Su paradigma de "preentrenar luego ajustar" fue adoptado rápidamente en todo el campo e influyó directamente en el diseño de modelos posteriores de codificador y codificador-decodificador. Google incorporó BERT en sus sistemas centrales de clasificación de búsqueda a partir de 2019, describiéndolo como una de las mejoras más significativas en la relevancia de búsqueda en años, particularmente para comprender la intención detrás de consultas más largas y más conversacionales.
Legado en relación con modelos generativos
BERT precede a la era de los grandes modelos de lenguaje definida por GPT-2, GPT-3, y sus sucesores, y su diseño de solo codificador, no generativo, significa que no puede producir texto abierto de la manera que los modelos autorregresivos pueden. A pesar de esto, BERT y sus muchos derivados( incluidos RoBERTa, ALBERT, y DistilBERT) siguieron siendo ampliamente utilizados hasta bien entrada la década de 2020 para tareas de clasificación, recuperación, y incrustación donde la generación no es necesaria y la eficiencia importa, y los codificadores estilo BERT continuaron sirviendo como componentes dentro de sistemas más grandes de recuperación y búsqueda semántica, incluso como bloques de construcción en algunos pipelines de generación aumentada por recuperación. Investigadores como Christopher Manning y otros en el PLN académico han señalado el lanzamiento de BERT como un momento pivotal que demostró que el preentrenamiento auto-supervisado a gran escala en texto no etiquetado podía superar a métodos que dependían principalmente de conjuntos de datos etiquetados, una lección que se trasladó directamente a la filosofía de escalado detrás de los modelos de lenguaje generativos posteriores.