Habilidades emergentes, no contexto de grandes modelos de linguagem, referem-se a capacidades que parecem surgir abruptamente quando um modelo ultrapassa um certo limiar de parâmetros, dados de treinamento ou poder computacional, em vez de melhorarem de forma suave e previsível, como ocorre com a lei de escala na perda geral do modelo. Uma capacidade é descrita como emergente quando apresenta desempenho próximo ao acaso em modelos menores e, então, salta para um desempenho substancialmente acima do acaso em um modelo maior da mesma família, sem um sinal claro de melhoria iminente nas pontuações dos modelos menores.
Origens do termo
O conceito foi formalizado em um artigo amplamente citado de 2022, "Emergent Abilities of Large Language Models", de Jason Wei e colaboradores, que examinou resultados de benchmarks em várias famílias de modelos e identificou dezenas de tarefas - incluindo certos problemas de aritmética, algumas tarefas de raciocínio em múltiplas etapas e comportamentos de seguir instruções - nas quais o desempenho permanecia estável, próximo ao acaso, para modelos menores e, então, aumentava acentuadamente quando o modelo atingia um determinado tamanho. O artigo associou esse padrão a técnicas como aprendizado com poucos exemplos e aprendizado em contexto, em que a capacidade do modelo de usar exemplos fornecidos no próprio prompt, em vez de depender de treinamento adicional, parecia depender de ter cruzado esse limiar. O encadeamento de raciocínio, no qual o modelo é instruído a raciocinar passo a passo antes de responder, foi citado como uma técnica cujo benefício só se manifestava em modelos suficientemente grandes, oferecendo pouca ou nenhuma vantagem - e às vezes até prejudicando - em modelos menores.
A crítica do "mirage"
Em 2023, os pesquisadores Rylan Schaeffer, Brando Miranda e Sanmi Koyejo publicaram um artigo intitulado "Are Emergent Abilities of Large Language Models a Mirage?", argumentando que muitas das supostas habilidades emergentes eram um artefato das métricas escolhidas pelos pesquisadores, e não uma propriedade genuína dos modelos subjacentes. Eles demonstraram que, ao substituir uma métrica estrita de acerto ou erro - que classifica uma resposta como totalmente correta ou totalmente incorreta - por uma métrica mais suave que concede crédito parcial, as mesmas tarefas e os mesmos resultados de modelo frequentemente revelavam uma melhoria gradual e contínua, alinhada às leis de escala. Sob essa perspectiva, a capacidade subjacente estava melhorando de forma constante o tempo todo, e apenas a escolha de uma regra de pontuação descontínua fazia a melhoria parecer um salto repentino.
Debate em andamento
A disputa não foi totalmente resolvida. Os proponentes da ideia original observam que algumas capacidades realmente parecem exigir um limiar mínimo de escala para surgir, e que a experiência prática com modelos de diferentes tamanhos em tarefas reais, não apenas em benchmarks, frequentemente mostra diferenças qualitativas, e não apenas incrementais, no que um modelo consegue fazer de forma confiável. Os céticos respondem que o ônus da prova recai sobre aqueles que afirmam a existência de transições abruptas, exigindo demonstrações com métricas que não sejam descontínuas por construção, e que muitas das alegações mais dramáticas de saltos emergentes não resistiram a um exame estatístico mais rigoroso. O debate importa além do interesse acadêmico porque afeta a previsibilidade dos avanços futuros: se habilidades podem surgir repentina e imprevisivelmente em uma escala ainda não alcançada, isso complica os esforços para antecipar riscos associados a sistemas mais capazes, conectando as habilidades emergentes à discussão mais ampla sobre inteligência artificial geral e risco existencial da IA.