Histórico e a disputa de 2020
Timnit Gebru é uma pesquisadora de ética em IA que se juntou ao Google em 2018, onde co-liderou a Equipe de Ética em Inteligência Artificial com Margaret Mitchell, uma cientista da computação especializada em viés algorítmico. Emily M. Bender é uma linguista conhecida por seu trabalho em linguística computacional. O artigo, coescrito por Gebru e outros cinco pesquisadores (quatro dos quais eram funcionários do Google), foi submetido à Conferência ACM de 2021 sobre Justiça, Responsabilidade e Transparência. Ele argumentava que os LLMs apresentam riscos significativos, incluindo custos ambientais e financeiros, falta de transparência que leva a vieses perigosos desconhecidos e potencial para engano, já que esses modelos não compreendem os conceitos subjacentes ao que aprendem.
O artigo descrevia os LLMs como "costurando sequências de formas linguísticas... observadas em seus vastos dados de treinamento, de acordo com informações probabilísticas sobre como elas se combinam, mas sem qualquer referência ao significado", ganhando assim o rótulo de "papagaios estocásticos". Após a submissão, o Google solicitou que Gebru retirasse o artigo ou removesse os nomes dos funcionários do Google dele. Gebru recusou sem discussão adicional, enviando um e-mail à vice-presidente de pesquisa do Google, Megan Kacholia, dizendo que planejava renunciar após um período de transição se a empresa não pudesse explicar a solicitação de retirada e abordar outras preocupações sobre projetos semelhantes. No dia seguinte, 2 de dezembro de 2020, o Google enviou um e-mail informando que estava "aceitando sua renúncia". A demissão abrupta gerou protestos de funcionários do Google e gerou publicidade negativa para a empresa.
Uso e adoção pública
O termo "papagaio estocástico" foi adotado por céticos e pesquisadores de IA para significar que os LLMs não compreendem o significado de suas saídas. Sam Altman, CEO da OpenAI, usou o termo logo após o lançamento do ChatGPT em dezembro de 2022, tuitando "eu sou um papagaio estocástico, e você também". O termo foi nomeado como a Palavra do Ano de 2023 relacionada à IA pela Sociedade Americana de Dialetos.
Debate sobre compreensão vs. imitação
À medida que LLMs como o ChatGPT começaram a interagir com usuários em conversas convincentemente humanas, a questão de saber se esses sistemas realmente compreendem ou apenas "papagueiam" a linguagem se aprofundou. Pesquisadores de aprendizado de máquina Lindholm, Wahlström, Lindsten e Schön destacaram duas limitações vitais: os LLMs são limitados pelos dados nos quais são treinados e simplesmente repetem estocasticamente esse conteúdo; e, como geram saídas com base em padrões, não sabem se estão dizendo algo incorreto ou inadequado. Eles notaram que tais limitações poderiam levar a resultados "perigosamente errados" com conjuntos de dados de baixa qualidade.
Experiência subjetiva
Proponentes contendem que, nas mentes humanas, as palavras mapeiam para experiências do mundo real, mas, para os LLMs, as palavras correspondem apenas a outras palavras e padrões nos dados de treinamento. Assim, eles afirmam que as declarações sobre os significados dos LLMs derivam de "a tendência humana de atribuir significado ao texto", mesmo que os LLMs não compreendam realmente a linguagem.
Ajuste fino e contra-argumentos
Kelsey Piper argumentou que a metáfora do papagaio estocástico se concentra no pré-treinamento e ignora os processos modernos de ajuste fino que treinam os LLMs para seguir instruções e preferir respostas precisas. Outros pesquisadores apontam para benchmarks como evidência: o GPT-4 pontuou acima do 90º percentil no Exame da Ordem dos Advogados dos EUA e alcançou 93% de precisão no benchmark MATH de problemas de matemática de nível olímpico, feitos que excedem as expectativas de mera repetição mecânica de padrões. Uma pesquisa de 2022 descobriu que 51% dos profissionais de IA acreditam que os LLMs podem realmente compreender a linguagem com dados suficientes, uma visão que muitos especialistas contestam.
Alucinações e limitações
Apoiadores da ideia do papagaio estocástico apontam para alucinações - ou confabulações - onde os LLMs apresentam informações falsas como fato, como evidência de que esses sistemas não conectam palavras à compreensão do mundo. Eles também citam falhas em gramática complexa ou ambígua. Por exemplo, dada a frase: "O jornal molhado que caiu da mesa é o meu jornal favorito. Mas agora que o jornal demitiu o editor, talvez eu não goste mais de lê-lo. Posso substituir 'meu jornal' por 'o jornal molhado que caiu da mesa' na segunda frase?" O GPT-4 respondeu que sim, não percebendo que "jornal" se refere a um objeto no primeiro contexto e a uma organização no segundo.
Pesquisa contínua e workshops
Em 2024, uma investigação da Scientific American descreveu um workshop fechado em Berkeley onde modelos de última geração resolveram problemas de matemática de nível 4 inéditos, sugerindo que alguns LLMs podem executar tarefas não diretamente presentes em seus dados de treinamento. No entanto, essas observações permanecem sujeitas a interpretação e não resolveram completamente o debate sobre se os LLMs possuem compreensão real ou apenas correspondência avançada de padrões.