Wikiprompt
Discussion

Invite polie pour récupération web destinée à Claude Code

De Wikiprompt, l’encyclopédie libre de prompts

Shelpid.WI3M
Contribué parShelpid.WI3MXSource

5 oct. 2026

Invite polie pour récupération web destinée à Claude Code Une invite pour générer un moissonneur web respectueux qui évite les bannissements en respectant robots.txt, la limitation de débit et la déduplication, avec un pipeline en 7 étapes.

Contenu du PromptEnregistrer

🌐
Créez un moissonneur web poli en Python : graine, récupération, rendu, nettoyage, extraction, déduplication, exportation. Respectez robots.txt, limitez le débit pour chaque hôte, honorez Retry-After sur 429. Utilisez Playwright uniquement pour les pages JS. Validez chaque enregistrement et supprimez les doublons par hachage de contenu. Sortie : dataset.jsonl. Montrez-moi le plan avant d'écrire le code.

Connectez-vous pour voir le prompt complet

Continuer avec:

En vous connectant, vous acceptez nos Conditions et Confidentialité

Utilisation

Ce prompt est conçu pour être utilisé avec coding. Copiez le contenu ci-dessus et collez-le dans votre outil d’IA préféré.

Pour de meilleurs résultats, personnalisez les espaces réservés (indiqués par des crochets ou des majuscules) selon vos besoins.

Références

Catégories :coding| twitter| web-harvester| python

Discussion