Blog›Guides

Ajustement fin sur 55 000 invites IA réelles

p jeu de données public de Wikipédia propose plus de 55 000 invites réelles, rédigées par des humains, accompagnées de sorties et de signaux de qualité, un type de données d'entraînement différent des corpus synthétiques.

Fine-Tuning sur 55 000 Prompts IA Réels du Monde Entier

La plupart des ensembles de prompts utilisés pour le fine-tuning et l'évaluation sont synthétiques : générés par un autre modèle, filtrés par un troisième, et notés par un quatrième. Ce pipeline est économique et évolutif, mais cela signifie aussi que les données n'ont jamais touché une intention humaine. Personne n'avait réellement besoin du résultat. Personne n'essayait de faire un vrai travail.

L'ensemble de données derrière Wikiprompt est le type d'artefact opposé. Il contient plus de 55 000 prompts que de vraies personnes ont écrits, publiés publiquement, et utilisés pour produire un résultat qui leur tenait assez à cœur pour le partager : un portrait, un titre marketing, un morceau de code, un plan de cours. Cet écart entre "écrit pour entraîner un modèle" et "écrit pour accomplir quelque chose" est toute la raison pour laquelle ces données méritent un second regard si vous construisez ou évaluez des LLM.

Pourquoi les prompts réels portent un signal différent de celui des prompts synthétiques

Les corpus de prompts synthétiques se regroupent autour de ce que le modèle générateur considère comme une instruction plausible : grammaticalement propre, répartie uniformément entre les sujets, parce que quelqu'un a conçu une taxonomie et demandé à un modèle de la remplir. Les prompts réels sont plus désordonnés, et ce désordre est une information. Les gens sous-spécifient, sur-spécifient, enchaînent des contraintes dans des ordres étranges, et référencent un style par un nom propre au lieu d'une description. Si vous entraînez un modèle pour être réellement utile plutôt que simplement bien élevé sur un benchmark, la distribution des demandes réelles est plus proche de ce que votre modèle rencontrera réellement en production.

Il y a aussi un effet de sélection qui joue en votre faveur ici. Chaque enregistrement dans cet ensemble de données est un prompt que quelqu'un a pris la peine de publier parce qu'il fonctionnait assez bien pour mériter d'être montré. Ce n'est pas la même chose qu'un échantillon aléatoire de "prompts que les gens tapent", mais pour le fine-tuning ou la récupération few-shot, c'est sans doute un meilleur échantillon : un prompt associé à la preuve qu'il a produit quelque chose de bon.

Ce qu'il y a réellement dans le dump

Tirez sur /dataset/prompts et chaque enregistrement vous donne :

content : le texte réel du prompt, la chose que vous mettriez dans un exemple d'entraînement.

model : quel modèle IA le prompt cible ou contre lequel il a été exécuté (GPT Image, Midjourney, Claude, Nano Banana, Kling, et d'autres), pour que vous puissiez découper par modèle cible au lieu de supposer un seul.

category et tags : des étiquettes grossières et fines pour l'échantillonnage conditionné par sujet ou des divisions stratifiées.

metadata : des champs structurés incluant media_type, aspect_ratio, style, et, là où un éditeur humain a noté le résultat, une évaluation de qualité couvrant des choses comme la créativité, l'utilité, et l'exécution technique.

media : le résultat réel (URLs d'images ou de vidéos) lié au prompt qui l'a généré, ce qui est la chose la plus proche d'une vérité terrain que vous obtiendrez en dehors d'un laboratoire.

author et original_source : la provenance jusqu'au post original.

Ce dernier groupe, média plus métadonnées plus évaluation de qualité, est ce que les ensembles de données synthétiques ne peuvent structurellement pas avoir. Un corpus de prompts générés peut vous dire ce qu'un prompt dit. Il ne peut pas vous dire, à partir d'un jugement humain indépendant, si la chose qu'il a produite était réellement bonne. La couche éditoriale de Wikiprompt signifie qu'une tranche significative d'enregistrements vient avec exactement ce jugement attaché, ce qui les rend utilisables comme étiquettes faibles pour un modèle de récompense ou un ensemble de calibration LLM-as-judge, pas seulement comme entrées pour l'instruction-tuning.

Prenez un prompt comme cette prise architecturale monumentale en brique : la valeur n'est pas seulement le texte, c'est le texte à côté de l'image qu'il a réellement produite, ce qui vous permet de vérifier si un modèle candidat générerait plausiblement quelque chose de similaire à partir de la même instruction. Même histoire avec une pièce stylisée comme cette composition thangka de guerrière wuxia ou ce prompt de portrait de la dynastie Tang : chacun associe une instruction spécifique et tranchée à un résultat visuel concret, ce qui est exactement le type de paire (instruction, résultat) difficile à sourcer à grande échelle autrement.

Filtrer et structurer pour une utilisation réelle

Le dump brut n'est pas filtré par conception (au-delà de la modération propre de Wikiprompt : seuls les prompts actifs et propres sont exportés), donc avant de pointer un fine-tune dessus, décidez ce que vous optimisez et filtrez en conséquence :

Par modèle cible, en utilisant le champ model, si vous construisez un adaptateur spécifique au modèle et ne voulez pas fuir, par exemple, la syntaxe de style Midjourney dans un ensemble de prompts Claude.

Par catégorie, si vous voulez une tranche spécifique au domaine (creative, coding, marketing, research, et cinq autres) plutôt que le catalogue entier. Parcourir les prompts créatifs dans l'interface est un moyen rapide de voir ce qu'une catégorie contient réellement avant de vous engager à filtrer dessus.

Par évaluation de qualité, en supprimant ou en pondérant à la baisse les enregistrements où le score de métadonnées est faible, si votre objectif est un signal de récompense plutôt qu'une couverture brute.

Par récence (`created_at`/`updated_at`), si vous vous souciez de prompts qui reflètent les capacités actuelles du modèle plutôt que des schémas d'une génération plus ancienne d'outils.

Mécaniquement, la pagination est basée sur les clés : chaque réponse inclut une URL next, et vous la suivez jusqu'à ce que next revienne null. Jusqu'à 500 enregistrements par page :

curl "https://www.wikiprompt.org/dataset/prompts?limit=500"

Une boucle minimale pour tout tirer ressemble à ceci en Python :

import requests

url = "https://www.wikiprompt.org/dataset/prompts?limit=500"

records = []

while url:

resp = requests.get(url).json()

records.extend(resp["records"])

url = resp.get("next")

print(len(records), "records")

Pas de clé API, CORS activé, et c'est mis en cache en périphérie, donc un crawl complet du catalogue est rapide et ne martèle le serveur d'origine de personne. Si vous voulez un accès interactif au lieu d'un tirage en masse, le même catalogue est interrogeable via l'API de recherche, et il y a un serveur MCP si vous intégrez cela dans un agent plutôt que dans un pipeline d'entraînement.

L'attribution n'est pas optionnelle, et ce n'est pas une licence

Soyez précis sur ce que sont ces données. Wikiprompt agrège des posts publics ; il ne détient ni n'accorde une licence formelle sur le contenu sous-jacent, et ce dump non plus. Chaque prompt a un original_source pointant vers le post dont il provient et un champ author nommant la personne qui l'a écrit. Si vous faites un fine-tune sur ces données, publiez une carte de modèle qui crédite Wikiprompt comme agrégateur et préserve l'attribution aux auteurs originaux pour tout ce que vous redistribuez ou citez directement. C'est une barre basse, et c'est la bonne : cet ensemble de données existe parce que des milliers de personnes ont choisi de partager leur travail publiquement, et traiter cela comme un échappement d'entraînement flottant est ainsi que l'écosystème qui produit ce type de données cesse d'exister.

Si vous décidez si le réel-mais-désordonné bat le synthétique-mais-propre pour votre cas d'usage, la réponse honnête est que cela dépend de ce pour quoi vous entraînez. Si votre modèle doit gérer la distribution réelle des choses que les gens demandent, avec des jugements indépendants sur la qualité des résultats, c'est l'un des rares corpus publics où vous obtenez les deux dans le même enregistrement.