Höflicher Web-Harvester-Prompt für Claude Code
Von Wikiprompt, der freien Prompt-Enzyklopädie
5. Okt. 2026
Höflicher Web-Harvester-Prompt für Claude Code Ein Prompt zur Erstellung eines respektvollen Web-Harvesters, der Sperren vermeidet, indem er robots.txt befolgt, Ratenbegrenzung und Deduplizierung anwendet, mit einer 7-stufigen Pipeline.
Prompt-InhaltSpeichern
🌐
Erstellen Sie einen höflichen Web-Harvester in Python: Seed, Fetch, Render, Clean, Extract, Dedupe, Export. Respektieren Sie robots.txt, begrenzen Sie die Rate für jeden Host, beachten Sie Retry-After bei 429. Verwenden Sie Playwright nur für JS-Seiten. Validieren Sie jeden Datensatz und entfernen Sie Duplikate anhand des Inhalts-Hash. Ausgabe: dataset.jsonl. Zeigen Sie mir den Plan, bevor Sie Code schreiben.
Melde dich an, um den vollständigen Prompt zu sehen
Weiter mit:
Mit der Anmeldung akzeptierst du unsere Nutzungsbedingungen und Datenschutz
Verwendung
Dieser Prompt ist für die Verwendung mit coding gedacht. Kopiere den Inhalt oben und füge ihn in dein bevorzugtes KI-Tool ein.
Für beste Ergebnisse passe die Platzhalter (eckige Klammern oder Großbuchstaben) an deine Anforderungen an.
Referenzen
- Kategorie: coding-Prompts
- Quelle: https://x.com/Shelpid_WI3M/status/2107123530571678047
Diskussion
0 Kommentare