El aprendizaje en contexto es la capacidad de un modelo de lenguaje para adaptar su comportamiento a una nueva tarea basándose únicamente en el contenido de su prompt, sin ninguna actualización de los parámetros del modelo. Un usuario puede proporcionar instrucciones, ejemplos o documentos de apoyo dentro de la ventana de contexto de una sola conversación, y el modelo condicionará su siguiente salida a ese material como si hubiera sido entrenado para la tarea, aunque en realidad no se haya producido ningún entrenamiento. Es el mecanismo subyacente tanto al prompting de aprendizaje con pocos ejemplos como al de aprendizaje con cero ejemplos, y es uno de los comportamientos más trascendentales observados en los sistemas modernos de transformers basados en modelos de lenguaje grandes.
El fenómeno se destacó de manera prominente en el artículo de 2020 sobre GPT-3, que mostró que un modelo preentrenado lo suficientemente grande podía realizar nuevas tareas a partir de un puñado de ejemplos en el prompt sin actualizaciones de gradiente. Debido a que esto parecía superficialmente que el modelo estaba "aprendiendo" dentro de una sola pasada hacia adelante, se adoptó el término aprendizaje en contexto para distinguirlo del aprendizaje ordinario en tiempo de entrenamiento, que cambia los pesos, y del aprendizaje por transferencia o el ajuste fino, que también requieren un paso de optimización explícito sobre datos específicos de la tarea.
Cómo funciona
No existe una única explicación mecanicista establecida para el aprendizaje en contexto, pero varias perspectivas complementarias son ampliamente citadas. Una visión lo trata como una forma de coincidencia de patrones implícita: debido a que el corpus de preentrenamiento del modelo contiene innumerables ejemplos de tareas explicadas, demostradas y resueltas en texto, el modelo ha aprendido un procedimiento general para continuar secuencias de "tarea, ejemplos y luego una nueva instancia" de manera que satisfaga el patrón implícito. Una línea más mecanicista de investigación en interpretabilidad ha propuesto que el mecanismo de atención dentro de los transformers puede implementar internamente algo parecido a un algoritmo de aprendizaje simple, realizando efectivamente una forma ligera de completación de patrones o incluso un cálculo similar al descenso de gradiente a través de los tokens del prompt, aunque esto sigue siendo un área de estudio activa y disputada, conectada con la investigación más amplia sobre interpretabilidad. El aprendizaje en contexto también está estrechamente vinculado a la aparición de capacidades con la escala, discutida bajo habilidades emergentes, ya que los modelos más pequeños tienden a beneficiarse mucho menos del contexto añadido que los suficientemente grandes.
Usos
El aprendizaje en contexto subyace a la mayoría de los usos prácticos de la ingeniería de prompts, incluyendo demostraciones con pocos ejemplos, instrucciones de rol y persona a través de un prompt de sistema, y la provisión de material de referencia directamente en el prompt para que el modelo pueda responder preguntas sobre él, un patrón que se escala hacia la generación aumentada por recuperación cuando el material de referencia se obtiene dinámicamente de una fuente externa en lugar de pegarse manualmente. También permite un cambio rápido de tarea dentro de una sola conversación: un asistente de chat puede pasar de escribir código a traducir un párrafo a resumir un documento únicamente porque cada nueva instrucción recondiciona el comportamiento del modelo, sin ningún reentrenamiento entre turnos.
Limitaciones e importancia
El aprendizaje en contexto está limitado por el tamaño de la ventana de contexto y tiende a degradarse cuando la cantidad de información en el prompt crece mucho o cuando los detalles relevantes están enterrados en medio de una entrada larga, un efecto que a veces se describe informalmente como que el modelo "pierde el rastro" del contexto. Tampoco es persistente: debido a que no cambian los pesos, cualquier cosa aprendida en contexto se olvida tan pronto como la conversación termina o el contexto se borra, en contraste con el ajuste fino, que produce un cambio duradero en el modelo. A pesar de estos límites, el aprendizaje en contexto se considera una de las propiedades más importantes de la arquitectura de transformers para el despliegue práctico, ya que permite que un único modelo de propósito general se reutilice para una gama efectivamente ilimitada de tareas en tiempo de inferencia, sin el costo, la demora o la infraestructura que requerirían reentrenar o ajustar un modelo.