LoRA, abreviatura de Low-Rank Adaptation (Adaptación de Bajo Rango), es una técnica de ajuste fino que adapta una red neuronal preentrenada a una nueva tarea congelando sus pesos originales e inyectando un pequeño número de parámetros entrenables en forma de matrices de bajo rango. Debido a que las matrices añadidas son diminutas en comparación con las matrices de pesos completas que modifican, LoRA puede adaptar un modelo de miles de millones de parámetros mientras entrena y almacena solo una fracción de un porcentaje de sus parámetros totales, haciendo que el ajuste fino sea accesible en hardware de consumo.
Historia
LoRA fue introducida en un artículo de junio de 2021 por Edward Hu y coautores en Microsoft, quienes observaron que las actualizaciones de pesos necesarias para especializar un modelo preentrenado en una nueva tarea tienden a tener un "rango intrínseco" bajo, lo que significa que pueden aproximarse bien mediante el producto de dos matrices mucho más pequeñas. En lugar de actualizar directamente una matriz de pesos completa, LoRA aprende dos matrices de bajo rango cuyo producto se añade a los pesos originales congelados, y en la inferencia la actualización puede fusionarse de nuevo sin latencia añadida. La técnica se demostró inicialmente en modelos de lenguaje grandes como GPT-3, y una extensión de 2023 llamada QLoRA la combinó con cuantización de 4 bits del modelo base congelado, reduciendo drásticamente la memoria necesaria para ajustar modelos muy grandes.
Método
Formalmente, para una matriz de pesos preentrenada, LoRA representa la actualización como el producto de una matriz de proyección descendente de bajo rango y una de proyección ascendente, escalado por un factor e inicializado típicamente para que el adaptador no contribuya nada al inicio del entrenamiento. Solo estas dos matrices pequeñas se optimizan mediante descenso de gradiente ordinario, mientras que los pesos originales permanecen fijos, lo que también protege las capacidades amplias del modelo base del olvido catastrófico. Se pueden entrenar múltiples adaptadores LoRA de forma independiente para diferentes tareas o estilos e intercambiarlos dentro y fuera del mismo modelo base en la inferencia, o combinarlos, sin reentrenar la red subyacente.
Aplicaciones
En el despliegue de modelos de lenguaje grandes, LoRA es un método estándar para construir asistentes específicos de tareas o dominios de forma económica, y subyace gran parte del ecosistema abierto de ajuste fino en torno a modelos como Llama. Se volvió igualmente central para la comunidad de generación de imágenes tras el lanzamiento de Stable Diffusion, donde los usuarios entrenan pequeños archivos LoRA, a menudo de menos de 200 megabytes, para enseñar a un modelo base un personaje, estilo artístico o tema específico a partir de un puñado de imágenes de ejemplo, y luego los comparten en hubs de modelos comunitarios y combinan varios a la vez con fuerza ajustable. Esta cultura de personalización de abajo hacia arriba, construida en torno a archivos LoRA ligeros superpuestos sobre indicaciones abiertas y checkpoints base, fue un impulsor significativo del crecimiento comunitario de Stable Diffusion en comparación con sistemas cerrados y no adaptables como el Midjourney temprano.
Limitaciones
La suposición de bajo rango de LoRA significa que puede rendir por debajo del ajuste fino completo en tareas que requieren cambios sustanciales en las representaciones del modelo, y elegir el rango, el subconjunto de matrices de pesos a adaptar y el factor de escala implica un ajuste no trivial. Debido a que solo modifica representaciones existentes en lugar de añadir nuevo conocimiento a escala, LoRA es generalmente más adecuado para la adaptación de estilo, formato y comportamiento que para enseñar al modelo grandes cantidades de contenido factual nuevo, una brecha que a menudo se llena en su lugar con generación aumentada por recuperación o continuación de preentrenamiento completo.