Feinabstimmung mit 55.000 realen KI-Prompts

Feintuning an 55.000 realen KI-Prompts aus der Praxis

Die meisten Prompt-Datensätze, die für Feintuning und Evaluierung verwendet werden, sind synthetisch: von einem anderen Modell generiert, von einem dritten Modell gefiltert und von einem vierten bewertet. Diese Pipeline ist günstig und skalierbar, aber sie bedeutet auch, dass die Daten nie mit menschlicher Absicht in Berührung gekommen sind. Niemand brauchte tatsächlich das Ergebnis. Niemand versuchte, eine echte Aufgabe zu erledigen.

Der Datensatz hinter Wikiprompt ist die gegenteilige Art von Artefakt. Er enthält über 55.000 Prompts, die echte Menschen geschrieben, öffentlich gepostet und verwendet haben, um ein Ergebnis zu erzeugen, das ihnen wichtig genug war, um es zu teilen: ein Porträt, eine Marketing-Überschrift, ein Stück Code, ein Unterrichtsplan. Diese Lücke zwischen "geschrieben, um ein Modell zu trainieren" und "geschrieben, um etwas zu erreichen" ist der ganze Grund, warum diese Daten einen zweiten Blick wert sind, wenn Sie LLMs bauen oder evaluieren.

Warum echte Prompts ein anderes Signal tragen als synthetische

Synthetische Prompt-Korpora gruppieren sich um das, was das generierende Modell für eine plausible Anweisung hält: grammatikalisch sauber, gleichmäßig über Themen verteilt, weil jemand eine Taxonomie entworfen und ein Modell gebeten hat, sie auszufüllen. Echte Prompts sind chaotischer, und dieses Chaos ist Information. Menschen spezifizieren zu wenig, zu viel, verketten Einschränkungen in seltsamer Reihenfolge und referenzieren einen Stil durch einen Eigennamen statt durch eine Beschreibung. Wenn Sie ein Modell trainieren, das wirklich nützlich ist und nicht nur brav auf einem Benchmark abschneidet, ist die Verteilung echter Anfragen näher an dem, was Ihr Modell tatsächlich in der Produktion erleben wird.

Es gibt auch einen Selektionseffekt, der hier zu Ihren Gunsten wirkt. Jeder Datensatz in diesem Korpus ist ein Prompt, den jemand veröffentlicht hat, weil er gut genug funktionierte, um es wert zu sein, gezeigt zu werden. Das ist nicht dasselbe wie eine Zufallsstichprobe von "Prompts, die Menschen tippen", aber für Feintuning oder Few-Shot-Retrieval ist es argumentierbar eine bessere Stichprobe: ein Prompt gepaart mit dem Beweis, dass er etwas Gutes erzeugt hat.

Was tatsächlich im Datendump steckt

Ziehen Sie /dataset/prompts und jeder Datensatz gibt Ihnen:

Diese letzte Gruppe - Medien plus Metadaten plus Qualitätsbewertung - ist das, was synthetische Datensätze strukturell nicht haben können. Ein generierter Prompt-Korpus kann Ihnen sagen, was ein Prompt sagt. Er kann Ihnen nicht, basierend auf unabhängigem menschlichem Urteil, sagen, ob das, was er erzeugt hat, tatsächlich gut war. Die redaktionelle Ebene von Wikiprompt bedeutet, dass ein bedeutender Teil der Datensätze genau mit diesem Urteil versehen ist, was sie als schwache Labels für ein Reward-Modell oder einen LLM-as-Judge-Kalibrierungssatz nutzbar macht - nicht nur als Input für Instruction-Tuning.

Nehmen Sie einen Prompt wie diesen monumentalen Backstein-Architektur-Shot: Der Wert liegt nicht nur im Text, sondern im Text neben dem Bild, das er tatsächlich erzeugt hat, was Ihnen erlaubt zu prüfen, ob ein Kandidatenmodell plausibel etwas Ähnliches aus derselben Anweisung generieren würde. Gleiche Geschichte mit einem stilisierten Stück wie dieser Wuxia-Schwertkämpferin-Thangka-Komposition oder diesem Tang-Dynastie-Porträt-Prompt: Jeder paart eine spezifische, meinungsstarke Anweisung mit einem konkreten visuellen Ergebnis, was genau die Art von (Anweisung, Ausgabe)-Paar ist, die schwer in großem Maßstab anders zu beschaffen ist.

Filtern und Strukturieren für die tatsächliche Nutzung

Der rohe Dump ist absichtlich ungefiltert (jenseits der eigenen Moderation von Wikiprompt: nur aktive, saubere Prompts werden exportiert), also entscheiden Sie, bevor Sie ein Feintuning darauf richten, wofür Sie optimieren, und filtern Sie entsprechend:

Mechanisch ist die Paginierung keyset-basiert: Jede Antwort enthält eine next-URL, und Sie folgen ihr, bis next null zurückgibt. Bis zu 500 Datensätze pro Seite:

curl "https://www.wikiprompt.org/dataset/prompts?limit=500"

Eine minimale Pull-Alles-Schleife sieht in Python so aus:

import requests

url = "https://www.wikiprompt.org/dataset/prompts?limit=500"

records = []

while url:

resp = requests.get(url).json()

records.extend(resp["records"])

url = resp.get("next")

print(len(records), "records")

Kein API-Schlüssel, CORS aktiviert, und es ist edge-cached, sodass ein vollständiger Crawl des Katalogs schnell ist und niemandes Origin-Server belastet. Wenn Sie interaktiven Zugriff statt eines Bulk-Pulls wollen, ist derselbe Katalog über die Such-API abfragbar, und es gibt einen MCP-Server, wenn Sie dies in einen Agenten statt in eine Trainingspipeline einbinden.

Attribution ist nicht optional, und sie ist keine Lizenz

Seien Sie präzise darüber, was diese Daten sind. Wikiprompt aggregiert öffentliche Posts; es hält oder gewährt keine formale Lizenz über den zugrunde liegenden Inhalt, und dieser Dump auch nicht. Jeder Prompt hat ein original_source, das auf den Post zurückweist, von dem er stammt, und ein author-Feld, das die Person benennt, die ihn geschrieben hat. Wenn Sie auf diesen Daten feintunen, liefern Sie eine Modellkarte, die Wikiprompt als Aggregator anerkennt und die Attribution an die ursprünglichen Autoren für alles bewahrt, was Sie direkt weiterverteilen oder zitieren. Das ist eine niedrige Messlatte, und es ist die richtige: Dieser Datensatz existiert, weil Tausende von Menschen sich entschieden haben, ihre Arbeit öffentlich zu teilen, und das als frei schwebendes Trainingsabfallprodukt zu behandeln, ist der Weg, wie das Ökosystem, das diese Art von Daten produziert, aufhört zu existieren.

Wenn Sie entscheiden, ob real-aber-chaotisch besser ist als synthetisch-aber-sauber für Ihren Anwendungsfall, ist die ehrliche Antwort: Es hängt davon ab, wofür Sie trainieren. Wenn Ihr Modell die tatsächliche Verteilung der Dinge handhaben muss, die Menschen fragen, zusammen mit unabhängigen Urteilen darüber, ob die Ergebnisse gut waren, ist dies einer der wenigen öffentlichen Korpora, in denen Sie beides im selben Datensatz bekommen.