Zero-shot prompting é uma técnica em inteligência artificial e aprendizado de máquina na qual um modelo é solicitado a executar uma tarefa sem receber quaisquer exemplos ou demonstrações. O modelo deve contar exclusivamente com seu conhecimento pré-treinado e com as instruções no prompt para gerar a saída correta. Isso contrasta com o few-shot prompting, em que alguns exemplos são incluídos no prompt para orientar o modelo. O zero-shot prompting é uma capacidade fundamental dos grandes modelos de linguagem (LLMs) modernos, permitindo que eles lidem com uma ampla variedade de tarefas com o mínimo de dados específicos da tarefa.
O conceito tem raízes no zero-shot learning (ZSL), uma configuração de problema em aprendizado de máquina na qual um aprendiz observa amostras de classes não vistas durante o treinamento e deve prever suas classes. O nome é um trocadilho baseado no conceito anterior de one-shot learning em visão computacional. Os métodos zero-shot geralmente funcionam associando classes observadas e não observadas por meio de informações auxiliares que codificam propriedades distintivas observáveis. Por exemplo, um modelo treinado para reconhecer cavalos, mas que nunca viu uma zebra, ainda pode reconhecer uma zebra se souber que zebras se parecem com cavalos listrados. No contexto de prompting, o zero-shot prompting aproveita as representações internas e a compreensão semântica do modelo para generalizar para tarefas não vistas.
Histórico e antecedentes
O primeiro artigo sobre zero-shot learning em processamento de linguagem natural apareceu em 2008, de Chang, Ratinov, Roth e Srikumar na AAAI'08, sob o nome "classificação sem dados" (dataless classification). O primeiro artigo sobre zero-shot learning em visão computacional apareceu na mesma conferência, sob o nome "aprendizado com zero dados" (zero-data learning). O termo "zero-shot learning" em si apareceu pela primeira vez em um artigo de 2009 de Palatucci, Hinton, Pomerleau e Mitchell na NIPS'09. Essa terminologia pegou, como uma variação do one-shot learning introduzido na visão computacional anos antes.
Em visão computacional, os modelos de zero-shot learning aprendiam parâmetros para classes vistas juntamente com suas representações de classe, contando com a similaridade representacional entre os rótulos de classe, de modo que, durante a inferência, as instâncias pudessem ser classificadas em novas classes. Em processamento de linguagem natural, a principal direção técnica baseava-se na capacidade de "entender os rótulos" - representando os rótulos no mesmo espaço semântico dos documentos a serem classificados. Isso permitia a classificação de um único exemplo sem quaisquer dados anotados, a forma mais pura de classificação zero-shot. O artigo original usava a representação de Análise Semântica Explícita (ESA), mas artigos posteriores usaram representações densas. Essa abordagem foi estendida para domínios multilíngues, tipagem fina de entidades e outros problemas. Além de depender exclusivamente de representações, a abordagem computacional foi estendida para depender de transferência de outras tarefas, como implicação textual e resposta a perguntas.
Informações pré-requisitas para classes zero-shot
O zero-shot learning exige informações auxiliares sobre as classes não vistas. Existem vários tipos de informações auxiliares:
- Aprendizado com atributos: As classes são acompanhadas de descrições estruturadas predefinidas. Por exemplo, descrições de pássaros poderiam incluir "cabeça vermelha" ou "bico longo". Esses atributos são frequentemente organizados de maneira composicional estruturada, e levar essa estrutura em conta melhora o aprendizado. Essa abordagem foi usada principalmente em visão computacional, com alguns exemplos em processamento de linguagem natural.
- Aprendizado a partir de descrição textual: Os rótulos de classe são considerados como tendo um significado e são frequentemente aumentados com definições ou descrições em linguagem natural de texto livre, como uma descrição da classe na Wikipédia. Essa tem sido a principal direção em processamento de linguagem natural.
- Similaridade classe-classe: As classes são incorporadas em um espaço contínuo. Um classificador zero-shot pode prever que uma amostra corresponde a alguma posição nesse espaço, e a classe incorporada mais próxima é usada como a classe prevista, mesmo que nenhuma dessas amostras tenha sido observada durante o treinamento.
No contexto do zero-shot prompting, a informação auxiliar está implicitamente codificada nos parâmetros do modelo durante o pré-treinamento. O modelo viu grandes quantidades de texto e aprendeu associações entre conceitos, permitindo que ele entenda instruções e gere respostas apropriadas sem exemplos explícitos.
Zero-shot learning generalizado
A configuração padrão de zero-shot learning assume que, no momento do teste, apenas amostras zero-shot (de classes não vistas) são fornecidas. No zero-shot learning generalizado, amostras de classes novas e conhecidas podem aparecer no momento do teste. Isso apresenta desafios porque é difícil estimar se uma determinada amostra é nova ou conhecida. As abordagens para lidar com isso incluem:
- Um módulo de portão, treinado para decidir se uma determinada amostra vem de uma classe nova ou antiga, e que, na inferência, produz uma decisão probabilística rígida ou suave.
- Um módulo generativo, treinado para gerar representações de características de classes não vistas, permitindo que um classificador padrão seja treinado em amostras de todas as classes, vistas e não vistas.
Para o zero-shot prompting, o zero-shot learning generalizado é menos relevante, pois normalmente se pede ao modelo para executar uma única tarefa sem precisar distinguir entre classes vistas e não vistas. No entanto, o desafio subjacente da generalização permanece importante para um desempenho robusto.
Domínios de aplicação
O zero-shot learning e o zero-shot prompting foram aplicados a uma ampla variedade de campos:
- Classificação de imagens: Reconhecimento de objetos ou cenas não vistos durante o treinamento.
- Segmentação semântica: Atribuição de rótulos a pixels em uma imagem, incluindo categorias não vistas.
- Geração de imagens: Geração de imagens de conceitos não explicitamente treinados.
- Detecção de objetos: Detecção de objetos de classes não vistas.
- Processamento de linguagem natural: Classificação de texto, análise de sentimentos e resposta a perguntas sem dados de treinamento específicos da tarefa.
- Biologia computacional: Previsão de propriedades de entidades biológicas, como funções de proteínas, sem exemplos rotulados.
- Raciocínio abstrato: Resolução de tarefas de raciocínio que exigem generalização para situações novas.
Na era dos grandes modelos de linguagem, o zero-shot prompting tornou-se um método de avaliação padrão. Modelos como os desenvolvidos pela OpenAI, Anthropic e Google DeepMind são frequentemente testados quanto ao seu desempenho zero-shot em diversos benchmarks. Essa capacidade é um resultado direto do treinamento em corpora massivos e da arquitetura transformer, que permite ao modelo internalizar vastas quantidades de conhecimento e seguir instruções.
Desafios e limitações
Apesar de seu poder, o zero-shot prompting tem limitações. O modelo pode produzir respostas plausíveis, mas incorretas, especialmente para tarefas que exigem conhecimento especializado ou raciocínio. A qualidade do prompt importa significativamente; instruções mal formuladas podem levar a resultados abaixo do ideal. Além disso, o desempenho zero-shot é frequentemente inferior ao desempenho few-shot ou ao de fine-tuning, pois o modelo não tem exemplos explícitos para calibrar sua saída. Os pesquisadores continuam a explorar métodos para melhorar as capacidades zero-shot, como melhor engenharia de prompt, raciocínio em cadeia de pensamento e ajuste por instruções.