"Attention Is All You Need" es el artículo de investigación de 2017 que introdujo el arquitectura Transformer, un diseño de red neuronal construido enteramente en torno a mecanismos de atención en lugar de recurrencia o convolución. Publicado como preimpresión en arXiv el 12 de junio de 2017 y presentado en la conferencia NeurIPS ese mismo año, fue escrito por ocho investigadores de Google: Ashish Vaswani, Noam Shazeer, Aidan Gomez, Illia Polosukhin, Jakob Uszkoreit, Llion Jones, Lukasz Kaiser y Niki Parmar. Es uno de los artículos más citados en ciencias de la computación y se considera ampliamente como la publicación más influyente en el desarrollo de los grandes modelos de lenguaje modernos.
Antecedentes
Antes del Transformer, los sistemas de procesamiento de lenguaje natural de última generación para tareas como la traducción automática dependían de arquitecturas recurrentes, a menudo LSTMs, que procesaban texto secuencialmente y se complementaban con capas de atención tomadas de trabajos anteriores de secuencia a secuencia. El procesamiento secuencial era lento de entrenar y tenía dificultades para capturar dependencias de largo alcance. Los autores propusieron reemplazar por completo la recurrencia con autoatención, permitiendo que el modelo ponderara la relevancia de cada token en una secuencia con respecto a todos los demás en paralelo, lo que aceleró el entrenamiento en GPUs y mejoró el modelado de estructuras de largo alcance.
Arquitectura e impacto
El diseño del artículo, una pila de codificador-decodificador de capas de autoatención y avance con codificaciones posicionales que sustituyen la recurrencia, se convirtió en la plantilla para casi todos los modelos importantes que siguieron. BERT adaptó el lado del codificador para la comprensión del lenguaje, mientras que los modelos estilo GPT adoptaron variantes solo de decodificador entrenadas mediante predicción del siguiente token. La arquitectura demostró ser inusualmente fácil de escalar, alimentando directamente la investigación de leyes de escalado que mostró ganancias predecibles en rendimiento con más datos, parámetros y cómputo, y más tarde sustentó modelos fundacionales en texto, visión, audio y dominios multimodales.
Legado
Un hecho frecuentemente repetido sobre el artículo es que los ocho autores originales finalmente dejaron Google para fundar o unirse a otras empresas de IA. Noam Shazeer cofundó Character.AI antes de regresar a Google, y Aidan Gomez se convirtió en director ejecutivo de Cohere. El recuento de citas del artículo creció hasta decenas de miles en menos de una década desde su publicación, y el Transformer sigue siendo, a mediados de la década de 2020, la arquitectura dominante detrás de los modelos frontera, incluso mientras los investigadores continúan explorando alternativas como los modelos de espacio de estados para compensaciones específicas de eficiencia.