Um papagaio estocástico é um termo para um modelo de linguagem que reproduz fluentemente texto com aparência plausível ao recombinar estatisticamente padrões de seus dados de treinamento, sem qualquer compreensão fundamentada do significado por trás das palavras que produz. A expressão vem do título do artigo de 2021 "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?", escrito por Emily Bender, Timnit Gebru, Angelina McMillan-Major e Margaret Mitchell, que se tornou uma das críticas mais citadas e contestadas à direção de pesquisa de grandes modelos de linguagem que logo produziria sistemas da classe GPT-3 e, mais tarde, o ChatGPT.
O artigo argumentava que modelos de linguagem cada vez maiores, treinados em texto coletado da web, trazem riscos sérios: custos ambientais e financeiros, viés codificado e amplificado a partir de corpora de treinamento não filtrados, e uma tendência tanto de pesquisadores quanto do público de confundir saída fluente com compreensão genuína.
Origens e controvérsia
A publicação do artigo esteve entrelaçada com a saída de Gebru do Google em dezembro de 2020, que ela disse ter sido uma demissão devido à exigência da empresa de que ela retirasse o artigo ou removesse os nomes dos coautores afiliados ao Google; o Google descreveu o caso como uma renúncia. O episódio atraiu ampla atenção para as tensões internas entre a pesquisa em ética de IA e as equipes de produto em grandes laboratórios, e se tornou um dos eventos mais discutidos na ética da IA. O argumento mais amplo de Bender e Gebru estendia preocupações anteriores na pesquisa em processamento de linguagem natural sobre a qualidade dos dados de treinamento e a dificuldade de auditar corpora em escala da web.
Argumento central
Modelos de linguagem são treinados para prever o próximo token estatisticamente provável dado o contexto anterior, um objetivo que as autoras argumentaram produzir forma convincente sem qualquer fundamentação das palavras em significado ou intenção do mundo real, uma preocupação intimamente relacionada ao problema mais amplo de fundamentação em IA. O artigo alertou que essa fluência sem fundamentação torna o conteúdo alucinado e tendencioso especialmente perigoso, porque leitores humanos atribuem instintivamente compreensão e confiabilidade a texto fluente.
Recepção e debate posterior
O termo entrou no uso comum, tanto como uma crítica séria de pesquisa quanto como um insulto retórico usado contra o entusiasmo por LLMs. Proponentes da expansão de escala contra-argumentaram que pesquisas posteriores sobre habilidades emergentes e a aparente capacidade dos modelos para raciocínio, uso de ferramentas e planejamento em múltiplas etapas complicavam uma caracterização puramente "estocástica", embora críticos mantenham que a saída fluente permanece distinguível de compreensão verificada. O debate permanece sem resolução e continua a moldar a discussão sobre o que grandes modelos de linguagem realmente sabem versus meramente reproduzem, e ecoa em termos posteriores como AI slop que descrevem o extremo de baixa qualidade do texto de máquina produzido em massa.