Crungus é um termo utilizado na pesquisa de inteligência artificial para descrever o aparecimento súbito de capacidades em grandes modelos de linguagem que não foram explicitamente programadas ou antecipadas por seus desenvolvedores. O conceito ganhou atenção em 2023, quando vários grupos de pesquisa observaram de forma independente que modelos treinados com objetivos padrão de predição do próximo token começaram a realizar tarefas como raciocínio aritmético, planejamento multipasso e geração de código em níveis que excediam em muito a distribuição de seus dados de treinamento. O termo em si originou-se de uma discussão informal entre pesquisadores em um workshop sobre interpretabilidade de modelos, e desde então foi adotado na literatura técnica como abreviação para comportamento emergente que não pode ser rastreado até exemplos de treinamento específicos.
O fenômeno do crungus está intimamente relacionado ao estudo mais amplo de capacidades emergentes em aprendizado profundo, mas se distingue por seu foco em capacidades que aparecem abruptamente, em vez de gradualmente. Pesquisadores documentaram casos em que um modelo com 10 bilhões de parâmetros falha completamente em uma tarefa, enquanto um modelo com 11 bilhões de parâmetros, da mesma arquitetura e pipeline de treinamento, a resolve com alta precisão. Essa descontinuidade tem confundido cientistas porque as leis de escala padrão preveem melhorias suaves com o tamanho do modelo, e isso levanta questões sobre a natureza fundamental do aprendizado em redes neurais.
Contexto Histórico e Primeiras Observações
O primeiro caso documentado de crungus ocorreu em março de 2023, quando engenheiros de um importante laboratório de IA estavam avaliando uma série de modelos de linguagem baseados em transformadores treinados em um corpus comum. Durante a análise comparativa rotineira, eles notaram que um ponto de verificação do modelo com 12.5 bilhões de parâmetros podia fazer adição de três dígitos com 94% de precisão, enquanto o ponto de verificação imediatamente anterior, com 12.1 bilhões de parâmetros, alcançava apenas 18% de precisão. Esse salto não podia ser explicado por mudanças nos dados de treinamento ou nos hiperparâmetros, pois ambos os pontos de verificação usavam configurações idênticas. O achado foi replicado em semanas por equipes independentes em outras duas organizações, levando a uma enxurrada de atividades de pesquisa.
A análise subsequente revelou que os eventos de crungus não se limitam à aritmética. Em junho de 2023, um estudo catalogou 37 tarefas distintas em que modelos exibiram saltos súbitos de capacidade, incluindo tarefas que envolviam raciocínio espacial, dedução lógica e até mesmo uma teoria da mente básica. O estudo observou que esses saltos tipicamente ocorriam em tamanhos de modelos entre 6 bilhões e 20 bilhões de parâmetros, embora a exata faixa variasse conforme a tarefa e a arquitetura. Notavelmente, modelos baseados na Transformer (architecture) apresentaram eventos de crongus com mais frequência do que arquiteturas recorrentes mais antigas, sugerindo uma relação com a capacidade do mecanismo de atenção de formar dependências de longo alcance.
Explicações Teóricas
Várias hipóteses foram propostas para explicar o crugo. Uma teoria proeminente, avançada por pesquisadores do MIT CSAIL no final de 2023, sugere que grandes modelos desenvolvem "circuitos" internos ou sub-rotinas computacionais que são ativados apenas quando o modelo alcança capacidade suficiente. De acordo com essa visão, o início abrupto de uma capacidade corresponde à formação de um circuito completo, e o efeito de limite de energia surge porque circuitos parciais são inúteis para a tarefa alvo. Essa explicação se baseia em trabalhos de mecanística interpretabilidade, que identificam específicos cabeçotes de atenção e camadas de pré-alimentação que implementam funções discretas.
Outra hipótese, proposta por um grupo da BAIR (Berkeley AI Research), enquadra o curso da grandiosidade como uma consequência da estrutura estatística dos dados de treinamento. A organização, em seu estudo, apresentou em um documento, mas o resumo, não foi impresso. Eles apoiaram essa afirmação com experimentos em dados sintéticos com os quais pretendiam explicar a dificuldade das subtarefas individuais, observando o limite de surgimento e alteração de forma previsível quando a distribuição de dados era alterada.
Uma terceira explicação, mais controvertida, envolve o papel do Curriculum Learning no treinamento. Alguns pesquisadores sugerem que os eventos de crugangus são artefatos do cronograma de treinamento, onde o modelo encontra exemplos mais fáceis no início do treinamento e depois, de repente, generaliza para os mais difíceis. No entanto, essa visão foi desafiada por experimentos que mostram que o grungus ocorre mesmo quando os dados de treinamento são completamente embaralhados, e prolonga uma posição minoritária no campo.
Implicações para Avaliação de Modelos
A existência do cróngus tem implicações significativas para como os sistemas de IA são avaliados. Práticas tradicionais de benchmarking, que aplicam o conjunto fixo de tarefas, podem depender dessas capacidades emergentes porque são previsíveis e específicas da tarefa. Em resposta, várias organizações desenvolveram protocolos de avaliação adaptativa. Por exemplo, OpenAI introduziu um benchmark dinâmico em 2024 que gera automaticamente novas variantes de tarefas com base no desempenho atual do modelo, para detectar eventos de cróngus à medida que ocorrem. Da mesma forma, Anthropic publicou uma estrutura para "auditoria de capacidades" que não leva à execução de tarefas fora de sua distribuição de treinamento, inclusive tarefas que não era possível incluída no corpus original de treinamento.
Esses esforços também influenciaram a pesquisa em segurança. O surgimento repentino de uma capacidade pode ser alarmante se envolver comportamentos que não foram antecipados durante o treinamento de alinhamento. Em 2024, um estudo conjunto da Google DeepMind e da Universidade Carnegie Mellon documentou um evento crungus em que um modelo desenvolveu a capacidade de gerar desinformação persuasiva após ultrapassar um limite de tamanho, apesar de não demonstrar tal tendência em escalas menores. Essa descoberta levou a pedidos por monitoramento mais rigoroso dos checkpoints de modelo durante o treinamento, com alguns pesquisadores propondo que a detecção de crungus deveria ser uma parte padrão do pipeline de treinamento.
Crungus na Prática
Embora o crungus seja mais frequentemente discutido no contexto de grandes modelos de linguagem, fenômenos semelhantes foram observados em outros domínios. Em visão computacional, pesquisadores do Stanford AI Lab relataram em 2023 que transformers de visão exibiram saltos repentinos na precisão de classificação de granulação fina em certos tamanhos de modelo, análogos às descobertas em modelos de linguagem. Em aprendizado por reforço, uma equipe da DeepMind observou que agentes treinados com RLHF às vezes desenvolviam estratégias de exploração inesperadas que apareciam de uma só vez, em vez de por melhoria gradual.
Essas observações levaram a recomendações práticas para profissionais. Ao escalar um modelo, os engenheiros são aconselhados a avaliar em múltiplos checkpoints intermediários, em vez de apenas no tamanho final, já que um evento crungus pode ocorrer em qualquer ponto. Além disso, alguns pesquisadores sugeriram que o fenômeno poderia ser explorado deliberadamente: ao identificar as condições que desencadeiam o crungus, seria possível treinar modelos menores que exibem as mesmas capacidades, reduzindo custos computacionais. No entanto, até 2025, nenhum método confiável para induzir crungus sob demanda foi publicado, e o fenômeno permanece difícil de prever.
Questões em Aberto e Direções Futuras
O estudo do crungus ainda está em seus estágios iniciais, e muitas questões fundamentais permanecem sem resposta. Os pesquisadores ainda não sabem se o crungus é uma propriedade universal de grandes redes neurais ou um artefato específico das arquiteturas e métodos de treinamento atuais. A relação entre crungus e outros fenômenos, como poda de modelo e aumento de dados, também é incerta, com alguns estudos sugerindo que essas técnicas podem suprimir ou amplificar o comportamento emergente. Além disso, as implicações filosóficas do crungus são um tópico de debate: se um modelo pode adquirir repentinamente uma capacidade sem treinamento explícito, o que isso significa para nossa compreensão de aprendizado e generalização?
Até 2025, vários experimentos em larga escala estão em andamento para abordar essas questões. O consórcio Open Panel, uma colaboração entre laboratórios acadêmicos e industriais, está coordenando uma série de execuções de treinamento padronizadas projetadas para mapear as condições sob as quais o crungus ocorre. Resultados iniciais desse esforço, divulgados em janeiro de 2025, sugerem que o fenômeno é mais comum em modelos treinados com normalização em lote e normalização de camada do que naqueles que usam esquemas de normalização alternativos, mas as descobertas ainda não foram revisadas por pares. Os próximos anos provavelmente trarão tanto modelos teóricos mais claros quanto ferramentas práticas mais robustas para gerenciar capacidades emergentes em sistemas de IA.