El aprendizaje con pocos ejemplos es la capacidad de realizar una nueva tarea correctamente después de que se le muestren solo un pequeño número de ejemplos de esa tarea, a menudo tan pocos como uno o unas pocas docenas. En el contexto de los grandes modelos de lenguaje, el término se refiere más comúnmente a una práctica específica: colocar varios ejemplos de entrada-salida directamente dentro del prompt, inmediatamente antes de la consulta real, para que el modelo pueda inferir el patrón y aplicarlo sin ningún cambio en sus pesos subyacentes. Esto distingue el aprendizaje con pocos ejemplos de los enfoques supervisados tradicionales, en los que aprender una nueva tarea requiere recopilar un conjunto de datos etiquetados y ejecutar un proceso de optimización como el ajuste fino.
El marco fue popularizado por el artículo de GPT-3, "Language Models are Few-Shot Learners", publicado por Tom Brown y coautores en OpenAI en 2020. El artículo mostró que un modelo autorregresivo suficientemente grande, entrenado solo en la predicción del siguiente token sobre grandes cantidades de texto, podía realizar traducción, respuesta a preguntas y aritmética razonablemente bien cuando se le daba un puñado de demostraciones en su contexto, sin ninguna actualización de gradientes. Este resultado fue una de las demostraciones tempranas más claras de que la escala por sí sola, combinada con un objetivo de preentrenamiento de propósito general, podía sustituir a los datos de entrenamiento específicos de la tarea.
Mecanismo
El prompting con pocos ejemplos funciona porque los parámetros de un modelo preentrenado ya codifican un conocimiento estadístico amplio de cómo están estructuradas las tareas de muchos tipos; los ejemplos en el prompt no enseñan al modelo hechos nuevos, sino que especifican qué tarea, formato y estilo aplicar entre los muchos que el modelo ya es capaz de producir. Esta capacidad se estudia generalmente bajo el encabezado más amplio de aprendizaje en contexto, el fenómeno por el cual los modelos basados en transformadores adaptan su comportamiento basándose puramente en el contenido de su ventana de contexto. El número de ejemplos necesarios, su orden, su similitud con la consulta objetivo y cómo se formatean las demostraciones han demostrado afectar la precisión, a veces sustancialmente, lo que ha convertido el diseño de prompts en un oficio empírico por derecho propio, estrechamente relacionado con la ingeniería de prompts.
Relación con el aprendizaje de cero ejemplos y el ajuste fino
El aprendizaje con pocos ejemplos se sitúa entre otros dos regímenes: el aprendizaje de cero ejemplos, donde se le da al modelo solo una instrucción y ningún ejemplo, y el ajuste fino, donde los pesos del modelo se actualizan en un conjunto de datos etiquetados. A medida que los modelos han crecido y se han entrenado con un ajuste por instrucciones más intensivo, la brecha entre el rendimiento de cero ejemplos y el de pocos ejemplos se ha reducido para muchas tareas comunes, ya que los modelos bien alineados a menudo pueden seguir una instrucción clara correctamente sin demostraciones. Los ejemplos de pocos ejemplos siguen siendo útiles, sin embargo, para especificar un formato de salida inusual, un esquema de clasificación idiosincrásico o un estilo que es difícil de describir con palabras pero fácil de mostrar. En comparación con el ajuste fino, el prompting con pocos ejemplos tiene la ventaja de no requerir infraestructura de entrenamiento y tener efecto inmediato, pero consume espacio en la ventana de contexto en cada llamada y sus ganancias típicamente no persisten ni se acumulan de la manera en que lo hacen las de un modelo ajustado.
Recepción y legado
El resultado de pocos ejemplos de GPT-3 reformuló cómo el campo pensaba sobre la generalización: en lugar de construir modelos estrechos para cada tarea, se volvió plausible construir un modelo grande y general y especializarlo en el momento de la inferencia solo mediante prompting. Este cambio respaldó el modelo de negocio basado en API que OpenAI y competidores posteriores adoptaron, y presagió directamente el movimiento más amplio hacia asistentes de chat de propósito general como ChatGPT. Trabajos posteriores cuestionaron cuánto del aparente "aprendizaje" reflejaba una adquisición genuina de nuevas tareas frente a la recuperación de una tarea que el modelo ya había visto algo similar durante el preentrenamiento, un debate que continúa moldeando cómo los investigadores interpretan las afirmaciones de capacidad vinculadas a las habilidades emergentes y los puntos de referencia de pocos ejemplos.