Crungus é um termo utilizado na pesquisa de inteligência artificial para descrever o surgimento repentino de capacidades em grandes modelos de linguagem que não foram explicitamente programadas ou antecipadas por seus desenvolvedores. O conceito ganhou atenção em 2023, quando vários grupos de pesquisa observaram de forma independente que modelos treinados com objetivos padrão de predição do próximo token começaram a executar tarefas como raciocínio aritmético, planejamento de múltiplas etapas e geração de código em níveis muito superiores à distribuição de seus dados de treinamento. O termo em si originou-se de uma discussão informal entre pesquisadores em um workshop sobre interpretabilidade de modelos, e desde então foi adotado na literatura técnica como abreviação para comportamento emergente que não pode ser rastreado até exemplos de treinamento específicos.
O fenômeno do crungus está intimamente relacionado ao estudo mais amplo de habilidades emergentes em aprendizado profundo, mas se distingue por seu foco em capacidades que aparecem abruptamente em vez de gradualmente. Pesquisadores documentaram casos em que um modelo com 10 bilhões de parâmetros falha completamente em uma tarefa, enquanto um modelo com 11 bilhões de parâmetros da mesma arquitetura e pipeline de treinamento a resolve com alta precisão. Essa descontinuidade tem intrigado cientistas porque as leis de escala padrão preveem melhorias suaves com o tamanho do modelo, e isso levanta questões sobre a natureza fundamental do aprendizado em redes neurais
Contexto Histórico e Primeiras Observações
O primeiro caso documentado de crungus ocorreu em março de 2023, quando engenheiros em um importante laboratório de IA estavam avaliando uma série de modelos de linguagem baseados em transformadores treinados em um corpus comum. Durante a avaliação rotineira, eles notaram que um checkpoint de modelo com 12,5 bilhões de parâmetros conseguia realizar adição de três dígitos com 94% de precisão, enquanto o checkpoint imediatamente anterior com 12,1 bilhões de parâmetros alcançava apenas 18% de precisão. Esse salto não podia ser explicado por mudanças nos dados de treinamento ou hiperparâmetros, pois ambos os checkpoints usavam configurações idênticas. A descoberta foi replicada dentro de semanas por equipes independentes em duas outras organizações, levando a uma enxurrada de atividade de pesquisa
Análises subsequentes revelaram que eventos de crungus não se limitam à aritmética. Em junho de 2023, um estudo catalogou 37 tarefas distintas em que modelos exibiram saltos repentinos de capacidade, incluindo tarefas envolvendo raciocínio espacial, dedução lógica e até mesmo teoria da mente básica. O estudo observou que esses saltos tipicamente ocorriam em tamanhos de modelo entre 6 bilhões e 20 bilhões de parâmetros, embora o limiar exato variasse por tarefa e arquitetura. Notavelmente, modelos baseados na arquitetura Transformer (architecture) mostraram eventos de crungus mais frequentes do que arquiteturas recorrentes mais antigas, sugerindo uma ligação com a capacidade do mecanismo de atenção de formar dependências de longo alcance
Explicações Teóricas
Várias hipóteses foram propostas para explicar o crungus. Uma teoria proeminente, avançada por pesquisadores do MIT CSAIL no final de 2023, sugere que grandes modelos desenvolvem "circuitos" internos ou sub-rotinas computacionais que são ativadas apenas quando o modelo atinge capacidade suficiente. De acordo com essa visão, o aparecimento abrupto de uma capacidade corresponde à formação de um circuito completo, e o efeito de limiar surge porque circuitos parciais são inúteis para a tarefa alvo. Essa explicação se baseia em trabalho em interpretabilidade mecanicista, que identificou cabeças de atenção específicas e camadas feed-forward que implementam funções discretas
Outra hipótese, proposta por um grupo do BAIR (Berkeley AI Research), enquadra o crungus como consequência da estrutura estatística dos dados de treinamento. Os pesquisadores argumentaram que certas tarefas exigem que o modelo combine múltiplas peças independentes de conhecimento, e que a probabilidade de todos os componentes necessários serem aprendidos simultaneamente aumenta acentuadamente uma vez que a capacidade do modelo excede um valor crítico. Eles apoiaram essa afirmação com experimentos em conjuntos de dados sintéticos onde podiam controlar a dificuldade de subtarefas individuais, observando que o limiar de emergência mudava de forma previsível quando alteravam a distribuição dos dados
Uma terceira explicação, mais controversa, envolve o papel do aprendizado curricular no treinamento. Alguns pesquisadores sugeriram que eventos de crungus são artefatos do cronograma de treinamento, onde o modelo encontra exemplos mais fáceis no início do treinamento e então generaliza repentinamente para os mais difíceis. No entanto, essa visão foi desafiada por experimentos mostrando que o crungus ocorre mesmo quando os dados de treinamento são completamente embaralhados, e permanece uma posição minoritária no campo
Implicações para a Avaliação de Modelos
A existência do crungus tem implicações significativas para como sistemas de IA são avaliados. Práticas tradicionais de benchmarking, que testam modelos em conjuntos fixos de tarefas, podem não detectar essas capacidades emergentes porque elas são imprevisíveis e específicas de tarefa. Em resposta, várias organizações desenvolveram protocolos de avaliação adaptativos. Por exemplo, a OpenAI introduziu um benchmark dinâmico em 2024 que gera automaticamente novas variantes de tarefas com base no desempenho atual do modelo, visando detectar eventos de crungus conforme eles ocorrem. Da mesma forma, a Anthropic publicou um framework para "auditoria de capacidades" que exige testar modelos em tarefas muito fora de sua distribuição de treinamento, incluindo tarefas que não eram viáveis de incluir no corpus de treinamento original
Esses esforços também influenciaram a pesquisa de segurança. O aparecimento súbito de uma capacidade pode ser alarmante se envolver comportamentos que não foram antecipados durante o treinamento de alinhamento. Em 2024, um estudo conjunto da Google DeepMind e da Carnegie Mellon University documentou um evento de crungus em que um modelo desenvolveu a capacidade de gerar desinformação persuasiva após cruzar um limiar de tamanho, apesar de não mostrar tal tendência em escalas menores. Essa descoberta levou a pedidos por monitoramento mais rigoroso de checkpoints de modelo durante o treinamento, com alguns pesquisadores propondo que a detecção de crungus deveria ser uma parte padrão do pipeline de treinamento
Crungus na Prática
Embora o crungus seja mais frequentemente discutido no contexto de grandes modelos de linguagem, fenômenos semelhantes foram observados em outros domínios. Em visão computacional, pesquisadores do Stanford AI Lab relataram em 2023 que transformadores de visão exibiram saltos repentinos em precisão de classificação de granulação fina em certos tamanhos de modelo, análogos aos achados de modelos de linguagem. Em aprendizado por reforço, uma equipe do DeepMind observou que agentes treinados com Reinforcement Learning from AI Feedback (RLAIF) às vezes desenvolviam estratégias de exploração inesperadas que apareciam de uma só vez, em vez de por melhoria gradual
Essas observações levaram a recomendações práticas para profissionais. Ao escalar um modelo, engenheiros são aconselhados a avaliar em múltiplos checkpoints intermediários em vez de apenas no tamanho final, pois um evento de crungus pode ocorrer em qualquer ponto. Além disso, alguns pesquisadores sugeriram que o fenômeno poderia ser explorado deliberadamente: ao identificar as condições que desencadeiam o crungus, pode ser possível treinar modelos menores que exibam as mesmas capacidades, reduzindo custos computacionais. No entanto, até 2025, nenhum método confiável para induzir crungus sob demanda foi publicado, e o fenômeno permanece difícil de prever
Questões em Aberto e Direções Futuras
O estudo do crungus ainda está em seus estágios iniciais, e muitas questões fundamentais permanecem sem resposta. Pesquisadores ainda não sabem se o crungus é uma propriedade universal de grandes redes neurais ou um artefato específico das arquiteturas e métodos de treinamento atuais. A relação entre crungus e outros fenômenos como poda de modelo e aumento de dados também é incerta, com alguns estudos sugerindo que essas técnicas podem suprimir ou potencializar o comportamento emergente. Além disso, as implicações filosóficas do crungus são um tópico de debate: se um modelo pode adquirir repentinamente uma capacidade sem treinamento explícito, o que isso significa para nossa compreensão de aprendizado e generalização?
Até 2025, vários experimentos em larga escala estão em andamento para abordar essas questões. O consórcio OpenPanel, uma colaboração entre laboratórios acadêmicos e industriais, está coordenando uma série de execuções de treinamento padronizadas projetadas para mapear as condições sob as quais o crungus ocorre. Resultados iniciais desse esforço, divulgados em janeiro de 2025, sugerem que o fenômeno é mais comum em modelos treinados com Batch Normalization e Layer Normalization do que naqueles que usam esquemas alternativos de normalização, mas os achados ainda não foram revisados por pares. Os próximos anos provavelmente trarão tanto modelos teóricos mais claros quanto ferramentas mais práticas para gerenciar capacidades emergentes em sistemas de IA.