Ajuste Fino em 55.000 Prompts Reais de IA

Ajuste Fino em 55.000 Prompts Reais de IA

A maioria dos conjuntos de dados de prompts usados para ajuste fino e avaliação são sintéticos: gerados por outro modelo, filtrados por um terceiro e pontuados por um quarto. Esse pipeline é barato e escala, mas também significa que os dados nunca tocaram a intenção humana. Ninguém realmente precisava da saída. Ninguém estava tentando realizar um trabalho real.

O conjunto de dados por trás do Wikiprompt é o tipo oposto de artefato. São mais de 55.000 prompts que pessoas reais escreveram, publicaram publicamente e usaram para produzir um resultado que se importavam o suficiente para compartilhar: um retrato, um título de marketing, um pedaço de código, um plano de aula. Essa lacuna entre "escrito para treinar um modelo" e "escrito para fazer algo acontecer" é toda a razão pela qual esses dados merecem uma segunda olhada se você está construindo ou avaliando LLMs.

Por que prompts reais carregam sinal diferente dos sintéticos

Corpora de prompts sintéticos se agrupam em torno do que o modelo gerador considera uma instrução plausível: gramaticalmente limpa, distribuída uniformemente entre tópicos, porque alguém projetou uma taxonomia e pediu a um modelo para preenchê-la. Prompts reais são mais bagunçados, e essa bagunça é informação. As pessoas subespecificam, superespecificam, encadeiam restrições em ordens estranhas e referenciam um estilo por um nome próprio em vez de uma descrição. Se você está treinando um modelo para ser genuinamente útil em vez de apenas bem-comportado em um benchmark, a distribuição de solicitações reais está mais próxima do que seu modelo realmente enfrentará em produção.

Há também um efeito de seleção que trabalha a seu favor aqui. Cada registro neste conjunto de dados é um prompt que alguém se deu ao trabalho de publicar porque funcionou bem o suficiente para valer a pena mostrar. Isso não é o mesmo que uma amostra aleatória de "prompts que as pessoas digitam", mas para ajuste fino ou recuperação de poucos exemplos, é discutivelmente uma amostra melhor: um prompt emparelhado com evidência de que produziu algo bom.

O que realmente está no dump

Puxe /dataset/prompts e cada registro dá a você:

Esse último grupo, mídia mais metadados mais avaliação de qualidade, é o que conjuntos de dados sintéticos estruturalmente não podem ter. Um corpus de prompts gerados pode dizer o que um prompt diz. Não pode dizer, a partir de um julgamento humano independente, se a coisa que produziu era realmente boa. A camada editorial do Wikiprompt significa que uma fatia significativa de registros vem exatamente com esse julgamento anexado, o que os torna utilizáveis como rótulos fracos para um modelo de recompensa ou um conjunto de calibração de LLM-como-juiz, não apenas como entradas de ajuste de instrução.

Pegue um prompt como esta foto monumental de arquitetura de tijolos: o valor não é apenas o texto, é o texto ao lado da imagem que realmente produziu, o que permite verificar se um modelo candidato geraria plausivelmente algo semelhante a partir da mesma instrução. Mesma história com uma peça estilizada como esta composição thangka de espadachim wuxia ou este prompt de retrato da dinastia Tang: cada um emparelha uma instrução específica e opinativa com um resultado visual concreto, que é exatamente o tipo de par (instrução, saída) que é difícil de obter em escala de qualquer outra forma.

Filtrando e estruturando para uso real

O dump bruto é não filtrado por design (além da própria moderação do Wikiprompt: apenas prompts ativos e limpos são exportados), então antes de apontar um ajuste fino para ele, decida para o que você está otimizando e filtre de acordo:

Mecanicamente, a paginação é baseada em chaves: cada resposta inclui uma URL next, e você a segue até que next retorne nulo. Até 500 registros por página:

curl "https://www.wikiprompt.org/dataset/prompts?limit=500"

Um loop mínimo de puxar tudo parece assim em Python:

import requests

url = "https://www.wikiprompt.org/dataset/prompts?limit=500"

records = []

while url:

resp = requests.get(url).json()

records.extend(resp["records"])

url = resp.get("next")

print(len(records), "records")

Sem chave de API, CORS habilitado, e é cacheado na borda, então um rastreamento completo do catálogo é rápido e não martela o servidor de origem de ninguém. Se você quer acesso interativo em vez de uma puxada em massa, o mesmo catálogo é consultável através da API de busca, e há um servidor MCP se você está conectando isso a um agente em vez de um pipeline de treinamento.

Atribuição não é opcional, e não é uma licença

Seja preciso sobre o que esses dados são. O Wikiprompt agrega posts públicos; ele não detém ou concede uma licença formal sobre o conteúdo subjacente, e nem este dump faz. Cada prompt tem um original_source apontando de volta para o post de onde veio e um campo author nomeando a pessoa que o escreveu. Se você ajusta fino nesses dados, envie um cartão de modelo que credite o Wikiprompt como agregador e preserve a atribuição aos autores originais para qualquer coisa que você redistribuir ou citar diretamente. Isso é uma barra baixa, e é a certa: este conjunto de dados existe porque milhares de pessoas escolheram compartilhar seu trabalho publicamente, e tratar isso como exaustão de treinamento flutuante é como o ecossistema que produz esse tipo de dado deixa de existir.

Se você está decidindo se real-mas-bagunçado vence sintético-mas-limpo para seu caso de uso, a resposta honesta é que depende do que você está treinando. Se seu modelo precisa lidar com a distribuição real de coisas que as pessoas pedem, junto com julgamentos independentes de se os resultados eram bons, este é um dos poucos corpora públicos onde você obtém ambos no mesmo registro.