Las habilidades emergentes, en el contexto de los modelos de lenguaje grandes, se refieren a capacidades que parecen surgir abruptamente una vez que un modelo cruza cierta escala de parámetros, datos de entrenamiento o cómputo, en lugar de mejorar de manera suave y predecible como lo hace la pérdida general de entrenamiento bajo las leyes de escalado. Una capacidad se describe como emergente cuando funciona cerca del nivel de azar en modelos más pequeños y luego salta a un rendimiento sustancialmente superior al azar en un modelo más grande de la misma familia, sin una señal clara de la mejora venidera en las puntuaciones de los modelos más pequeños.
Origen del término
El concepto fue formalizado en un artículo de 2022 ampliamente citado, "Emergent Abilities of Large Language Models", de Jason Wei y coautores, que examinó resultados de puntos de referencia en varias familias de modelos e identificó docenas de tareas, incluidos ciertos problemas aritméticos, algunas tareas de razonamiento de múltiples pasos y el comportamiento de seguir instrucciones, donde el rendimiento permanecía plano cerca de la adivinación aleatoria en modelos más pequeños y luego aumentaba bruscamente una vez que un modelo alcanzaba un tamaño particular. El artículo conectó este patrón con técnicas como el aprendizaje con pocos ejemplos y el aprendizaje en contexto, donde la capacidad de un modelo para usar ejemplos dados en el propio prompt, en lugar de mediante entrenamiento adicional, parecía depender de haber cruzado un umbral de capacidad. El prompting de cadena de pensamiento, en el que se pide a un modelo que razone paso a paso antes de responder, se citó como una técnica cuyo beneficio parecía emerger solo en modelos suficientemente grandes, proporcionando poco o ningún beneficio y a veces perjudicando el rendimiento en los más pequeños.
La crítica del "espejismo"
En 2023, los investigadores Rylan Schaeffer, Brando Miranda y Sanmi Koyejo publicaron un artículo titulado "Are Emergent Abilities of Large Language Models a Mirage?" argumentando que muchas habilidades emergentes reclamadas eran un artefacto de las métricas que los investigadores elegían, más que una propiedad genuina de los modelos subyacentes. Mostraron que cambiar de una métrica de precisión estricta, de todo o nada, que puntúa una respuesta como completamente correcta o completamente incorrecta, a una métrica más suave de crédito parcial en las mismas tareas y con las mismas salidas del modelo, a menudo convertía un salto aparentemente brusco en el rendimiento en una mejora gradual y continua que seguía de cerca las leyes de escalado. Bajo esta visión, la capacidad subyacente mejoraba suavemente todo el tiempo, y solo la elección de una regla de puntuación discontinua hacía que la mejora pareciera una emergencia repentina.
Debate en curso
La disputa no se ha resuelto por completo. Los defensores del marco original señalan que algunas capacidades genuinamente parecen requerir una cantidad umbral de escala para aparecer en absoluto, y que la experiencia práctica de usar modelos de diferentes tamaños en tareas reales, no solo en puntos de referencia, a menudo muestra diferencias cualitativas más que incrementales en lo que un modelo puede hacer de manera confiable. Los escépticos responden que la carga de la prueba debería recaer en demostrar una transición abrupta bajo métricas que no sean discontinuas por construcción, y que muchos de los saltos más dramáticos reclamados no han resistido un escrutinio estadístico más cercano. El debate importa más allá del interés académico porque afecta a cuán predecibles son las ganancias futuras de capacidad: si las habilidades pueden aparecer repentina e impredeciblemente a una escala aún no alcanzada, eso complica los esfuerzos por pronosticar los riesgos asociados con sistemas más capaces, una preocupación que conecta las habilidades emergentes con la discusión más amplia sobre la inteligencia artificial general y el riesgo existencial de la IA.