Un mecanismo de atención es un componente de redes neuronales que calcula una combinación ponderada de los elementos de su entrada en función de su relevancia para un contexto dado, lo que permite a un modelo centrarse dinámicamente en las partes más pertinentes de dicha entrada en lugar de tratar todos los elementos por igual. La atención es la idea computacional central de la arquitectura Transformer (architecture) y, por extensión, de la mayoría de los modelos de lenguaje de gran tamaño modernos.
Historia
La atención se introdujo en el contexto de los modelos de traducción automática Seq2seq alrededor de 2014 y 2015, como una forma de permitir que un decodificador basado en redes neuronales recurrentes pudiera revisar todos los estados ocultos del codificador al generar cada palabra de salida, en lugar de depender de un único vector de resumen de longitud fija de toda la oración de entrada. Esto abordó una debilidad específica de los primeros modelos codificador-decodificador, que tendían a perder información de secuencias de entrada largas. El artículo de 2017 "Attention is All You Need", liderado por Ashish Vaswani y sus colegas, demostró que un modelo construido enteramente con capas de atención, sin ninguna recurrencia, podía superar a las arquitecturas recurrentes a la vez que era mucho más paralelizable de entrenar, dando lugar al transformer.
Autoatención
La innovación clave utilizada en los transformers es la autoatención, en la que cada elemento de una secuencia atiende a todos los demás elementos de la misma secuencia, en lugar de que un decodificador atienda a un codificador separado. Para cada posición, el modelo calcula tres vectores, comúnmente llamados consulta, clave y valor, derivados del Embedding de esa posición. La similitud entre la consulta de una posición y la clave de cualquier otra posición determina cuánto peso contribuye el valor de esa otra posición a la salida en la posición actual. Esto permite que un modelo que procesa una oración relacione directamente palabras que están muy separadas, como un pronombre y el sustantivo al que se refiere, sin que la información tenga que pasar por muchos pasos intermedios como ocurriría en una red recurrente.
Variantes
Los transformers suelen utilizar atención de múltiples cabezas, ejecutando varios cálculos de atención en paralelo con diferentes proyecciones aprendidas, lo que permite al modelo capturar diferentes tipos de relaciones, como la estructura sintáctica y la similitud temática, simultáneamente. La atención cruzada, en la que una secuencia atiende a una secuencia separada, se utiliza en los transformers codificador-decodificador y en algunos sistemas multimodales, por ejemplo, permitiendo que un decodificador que genera un pie de foto atienda a las regiones codificadas de una imagen.
Importancia práctica
El coste computacional de la atención crece cuadráticamente con la longitud de la secuencia de entrada, ya que cada posición debe compararse con todas las demás, lo que ha encarecido el procesamiento de entradas muy largas y ha motivado tanto variantes de atención centradas en la eficiencia como arquitecturas alternativas como los modelos de espacio de estados. A pesar de este coste, la capacidad de la atención para relacionar directamente elementos distantes de una entrada, combinada con su paralelizabilidad en comparación con la recurrencia, la convirtieron en el mecanismo que desbloqueó la escala a la que se entrenan los modelos de lenguaje de gran tamaño, incluido el crecimiento de la ventana de contexto que determina cuánto texto puede atender un modelo en una sola interacción.