ノート

丁寧なWebハーベスタープロンプト for Claude Code

フリーのプロンプト百科事典 Wikiprompt より

Shelpid.WI3M

2026年10月5日

丁寧なWebハーベスタープロンプト for Claude Code 礼儀正しいウェブハーベスターを生成するためのプロンプト。robots.txtの遵守、レート制限、重複排除により禁止を回避し、7ステップのパイプラインを備えています。

プロンプト内容保存

🌐
Pythonで丁寧なWebハーベスタを構築する:シード、フェッチ、レンダリング、クリーンアップ、抽出、重複排除、エクスポート。robots.txtを尊重し、各ホストにレート制限を適用し、429応答時にはRetry-Afterを尊重する。PlaywrightはJSページのみに使用する。すべてのレコードを検証し、コンテンツハッシュで重複を削除する。出力:dataset.jsonl。コードを書く前に計画を示してください。

ログインして完全なプロンプトを表示

次で続行:

ログインすると、次に同意したことになります: 利用規約 と プライバシーポリシー

使い方

このプロンプトは coding 向けに設計されています。上の内容をコピーして、お好みの AI ツールに貼り付けてください。

最良の結果を得るには、プレースホルダー(角括弧や大文字で示された部分)を具体的な要件に置き換えてください。

参考資料

カテゴリ:coding| twitter| web-harvester| python

ノート