礼貌的网络采集提示词（适用于Claude Code）
来自 Wikiprompt，自由的提示词百科全书
2026年10月5日
礼貌的网络采集提示词（适用于Claude Code） 用于生成一个尊重规则的网络采集器，通过遵循robots.txt、速率限制和去重来避免封禁，并包含一个7步处理流程的提示词。
提示词内容收藏
🌐
用Python构建一个礼貌的网络采集器：种子、抓取、渲染、清洗、提取、去重、导出。尊重robots.txt，对每个主机进行速率限制，在429时遵循Retry-After。仅对JS页面使用Playwright。验证每条记录，并按内容哈希去除重复项。输出：dataset.jsonl。在编写代码之前先向我展示计划。
用法
此提示词专为 coding 设计。复制上方内容并粘贴到你常用的 AI 工具中。
为获得最佳效果，可将占位符（方括号或大写字母标示）替换为你的具体需求。
讨论
0 条评论