なぜ私たちはプロンプトカタログ全体をオープンにしたのか

プロンプトカタログ全体をオープンにした理由

毎週、誰かがwikiprompt.orgからプロンプトをスクレイピングするスクリプトを書いています。ログでそれが見えます。/category/creativeへのリクエストのバースト、次に/category/coding、サイトのすべてのページを「次へ」を千回クリックする人のように処理していく、ただしそれはスクリプトで決して飽きることがありません。以前はこれをレート制限で排除すべき迷惑行為として扱っていました。それから、より良い問いを自分たちに投げかけました。なぜ人々にこんなことをさせる必要があるのか、と。

答えは、一度認めれば、誇れるものではありませんでした。私たちは55,000以上の厳選されたプロンプトを抱えていました。これは人々が実際にAIモデルとどう話すかを研究する誰にとっても有用な原材料であり、一度に複数取得する公認の方法は、まるで2004年のようにウェブサイトをクリックして回ることだけでした。それはオープンな知識の仕組み方ではありません。そして、オープンな知識がどうあるべきかは正確に分かっています。なぜなら、その最良の例は2001年から存在しているからです。

Wikipediaモデルを真剣に受け止める

Wikipediaはブラウザで記事を一度に一つ読めるようにするだけではありません。全百科事典の完全なデータベースダンプを、定期的に、無料で、アカウント不要で公開しています。誰でも全体をダウンロードして何かに使えます。検索エンジンを構築する、モデルを訓練する、インターネットのない場所でオフラインミラーを運営する、あるいは記事が10年間の編集でどう変わったかを研究するだけでもいいのです。Wikipediaはこれを渋々やったのではありません。ダンプこそが使命だからやったのです。スクレイピング耐性のあるフロントエンドの背後にしか存在しない百科事典は、ページ下部にどんなライセンスが印刷されていようと、実際にはオープンではありません。

誰も計画しないが誰もが恩恵を受ける副作用として、ダンプが存在するおかげで、Wikipediaのコンテンツを大規模に取得するためにスクレイピングする必要が誰にもありません。ライブサイトを叩くはずだったスクレイピングトラフィックは代わりに静的ファイルに吸収され、Wikipediaは当然のように至る所で引用されます。なぜなら、引用する方が引用しないより簡単だからです。オープン性はWikipediaの正典的ソースとしての地位を弱めませんでした。それを確固たるものにしたのです。

私たちはプロンプトも同じ扱いに値すると考えます。同じ理由で。良いプロンプトは、ブログ記事がコンテンツであるような意味での「コンテンツ」ではありません。それは技法であり、応用された職人技の小さな一片であり、通常は試行錯誤で作られ、誰かが自分が解明したことを他の人が利益を得られるように共有したものです。それはWikipediaの記事に、独自の知的財産よりもはるかに近いものです。先史時代の生物の君主の肖像や建築的な階段で演出されたエディトリアルポートレートは、画像モデルとの話し方について誰かの発見であり、次の人がゼロから再発見しなくて済むように書き留められたものです。それを壁に囲まれた庭園、ログイン壁、または「APIアクセスについてはお問い合わせください」というフォームの背後に閉じ込めることは、コンテンツの目的の正反対です。

集合知は一度に一リクエストではスケールしない

私たちが避けたい特定の失敗モードがありました。実際のプロンプトテキストが支払うまで隠されているプロンプトマーケットプレイス、または良いものがグループ外の誰も検索できないDiscordサーバーに住んでいるコミュニティです。それらのモデルは、単一の取引の時点で価値を捕捉することに最適化されています。私たちは、それらがより大きな賞を失うと考えます。それは、良いプロンプトがどう構築されるかを知りたいときに人々がデフォルトで行く場所になることです。Wikipediaが事実についてデフォルトで行く場所になったように。コンテンツが大規模に研究され、適切にインデックスされ、その上に構築され得なければ、その参照点にはなれません。

そこでデータセットはダンプが機能すべき方法で機能します。APIキーなし、交渉すべきレート制限層なし、CORSは完全にオープン、エッジで十分にハードにキャッシュされるため、大量使用でも私たちは眠りを失いません。https://www.wikiprompt.org/datasetにアクセスすると、total_promptsとページネーション方式を含むマニフェストが得られます。`/dataset/prompts`にアクセスすると、カタログ自体がJSONとして、キーセットカーソルでページネーションされ、1ページあたり最大500レコードで得られます：

curl "https://www.wikiprompt.org/dataset/prompts?limit=500"

各レスポンスのnext URLをnullが返るまで追いかけると、カタログ全体を歩き終えたことになります。すべてのレコードにはslug、url、title、description、content（プロンプトテキスト自体）、category、tags、media、model、構造化されたmetadata、author、original_source、タイムスタンプが含まれ、クリエイティブやコーディングからマーケティング、リサーチ、教育までのカテゴリにわたります。一括ダウンロードではなくクエリを好む場合は、検索APIと、静的コピーを引っ張る代わりにカタログにライブでアクセスしたいエージェント向けのMCPサーバーもあります。

オープン性は匿名性と同じではない

技術的アクセスと同じくらい重要な部分はこれです。これはクレジットを剥奪するものではありません。カタログ内のすべてのプロンプトは、それを公開した実在の人物に遡ります。それが雨の中に立つ敗れた白蛇の精霊がTwitterで共有されたものであれ、サブレディットのスレッドに落とされた技法であれ。original_sourceは装飾的なフィールドではありません。それは取引のもう半分です。私たちは保持していない正式なライセンスを主張しておらず、プロンプトが私たちのものであり好き勝手に再ライセンスできると偽ってもいません。私たちは、率直に、このデータセットで何かを構築するなら、wikiprompt.orgをアグリゲーターとして、元の作者をソースとして帰属させるよう求めています。それはWikipediaが記事を再利用する全員と結ぶのと同じ取引です。知識を取り、クレジットを付け続ける。

WikipediaのダンプはWikipediaを不可欠でなくしませんでした。それらはインフラにしました。私たちは、wikiprompt.orgが、人々が静かにスクレイパーを迂回させるサイトではなく、誰もがすでにコピーを持っている退屈で信頼できる場所になることを望みます。オープン性はここでのリスクではありませんでした。壁に囲まれた庭園こそがリスクだったのです。