Aprendizado zero-shot é a capacidade de um modelo executar corretamente uma tarefa sem ter visto exemplos rotulados dessa tarefa específica, seja durante o treinamento ou em sua instrução. No contexto de modelos de linguagem em grande escala, o uso zero-shot normalmente significa dar ao modelo apenas uma instrução, como "traduza esta frase para o francês" ou "classifique esta avaliação como positiva ou negativa", e esperar uma resposta correta sem demonstrações anexadas. O termo antecede os modelos de linguagem em grande escala e foi originalmente usado em visão computacional e aprendizagem de máquina clássica para descrever classificadores que podiam reconhecer categorias nunca presentes em seus dados de treinamento, geralmente relacionando um novo rótulo a conhecidos por meio de informações auxiliares, como descrições de texto ou atributos.
Em modelos de linguagem
O desempenho zero-shot moderno em modelos de linguagem baseia-se em dois desenvolvimentos. Primeiro, o pré-treinamento em larga escala sobre corpora de texto abrangentes expõe um modelo a uma enorme variedade de formatos de tarefa, formulações e gêneros, de modo que uma instrução nova muitas vezes se assemelha a algo que o modelo aprendeu implicitamente a fazer durante o treinamento, mesmo sem um exemplo dedicado. Segundo, técnicas de ajuste-de-instrução e alinhamento, como RLHF, treinam explicitamente os modelos a seguir instruções em linguagem natural, em vez de apenas continuar texto de maneiras estilisticamente plausíveis, o que tornou assistentes de conversação como ChatGPT utilizáveis diretamente a partir de solicitações em linguagem simples. Antes dessa segunda etapa, modelos base estilo GPT-3 às vezes podiam ser incentivados a executar tarefas zero-shot, mas a obediência confiável e útil a uma instrução arbitrária sem exemplos melhorou consideravelmente depois que o ajuste de instrução se tornou prática padrão na indústria.
Zero-shot versus few-shot
O aprendizado zero-shot é geralmente discutido junto de aprendizado-few-shot e aprendizado-em-contexto como um ponto num espectro definido por quantos exemplos de tarefa aparecem na instrução: zero para zero-shot, uma mão cheia para few-shot. O artigo do GPT-3 relatou que o prompting few-shot geral, de forma superior ao prompting zero-shot no mesmo modelo base, especialmente para tarefas com um formato de saída incomum, mas a lacuna se estreitou para modelos de chat bem alinhados em tarefas comuns, já que esses modelos são treinados especificamente para interpretar e agir sobre instruções diretas. O prompting zero-shot continua sendo o modo padrão de interação para a maioria dos usos de audiência conversacional, já que pedir ao usuário para fornecer exemplos antes de cada solicitação conferiria uma sobrecarga de interface não razoável.
Cadeia-de-pensamento e raciocínio zero-shot
Uma extensão notável é o prompting zero-shot de chain-of-tought (cadeia-de-pensais), em que anexar uma frase simples, como "pensemos naquele passo", a uma instrução zero-shot melhora explicitamente a precisão em tarefas de aritmética e raciocínio lógico, sem fornecer nenhum exemplo trabalhado. Essa descoberta, relatada por pesquisadores em 2022, mostrou que a capacidade de raciocínio obtida por demonstrações few-shot em trabalhos anteriores poderia, muitas vezes, ser acionada também em zero-shot, simplesmente ao solicitar que o modelo exteriorize os passos intermediários, e isso alimentou diretamente a filosofia de design por trás de sistemas mais dedicados de modelo-de-raciocínio mais recentes.
Limitações
O desempenho zero-shot é variável e tende a ser mais forte em tarefas comuns em linguagem natural cada como resumo, tradução e classificação de sentimento) e mais e em tarefas que exigem formatos de saída precisos e incomuns ou convenções específicas de domínio com pouca exposição do modelo. Instruções ambíguas também podem ser interpretadas de pesar forma que a interpretação, sem exemplos que mostrem a análise do modelo, por isso a prática de engenharia-do-prompt frequentemente recomenda acrescentar pelo menos algumas demonstrações, mensagens-sistema ou regras de formatação explícitas em tarefas em que confiabilidade importa. A capacidade zero-shot também é frequentemente usada como lente de avaliação em comparações-acadêmicas, porque mede a capacidade de generalização a partir do pré-treinamento de forma mais direta que os escores few-shot, os quais podem ser inflados por exemplos que coincidem muito com a distribuição do teste.