AIコスト最適化ワークフロー：キャッシュ、ルーティング、バッチ処理

1/ 缓存你从不改变的那部分提示词。如果你每次调用都发送相同的系统提示词或知识库，你就要为重复阅读从未改变过的文本支付全价。Anthropic 允许你缓存这个稳定的前缀。缓存读取的成本仅为正常输入的10%。也就是说，重复部分每次都能打九折。 2/ 但缓存只有在前缀完全一致时才有效。哪怕只改一个词，甚至只是一个时间戳，你都得重新支付全价。解决办法是：把静态内容放在前面（指令、文档），把动态内容放在后面。顺序的重要性远超大多数人的想象。 3/ 别再每次都重新发送整个对话了。大多数应用在每一轮都会重发完整的聊天记录，成本随消息数量不断攀升。正确的做法是：把旧轮次总结成简短的运行摘要，只保留最近几条消息的原文。一个40轮的长对话，可以压缩成5行摘要加上最后3轮原文。 4/ 要检索，不要硬塞。把整个知识库都塞进提示词“以防万一”，是账单爆炸的最快方式。只取出与当前问题最相关的3到5个片段。这样能把上下文从5万个token降到2000个左右，而且回答质量反而更高。 5/ 能用小模型就别用大模型。大多数请求根本不需要最强大的模型。把分类、路由和简短回复交给像Haiku这样的廉价模型处理。把昂贵的模型只留给真正困难的那10%任务。 6/ 限制输出长度。输出token通常比输入token更贵。设置max_tokens参数，并明确要求格式。像“用一句话回答”这样的指令，不仅是风格要求，更是实实在在的成本控制手段。 7/ 缓存答案，而不只是缓存提示词。如果500个用户问的是同一个常见问题，你不需要调用500次模型。把常见答案存起来，直接从自己的缓存中返回。最便宜的token，是那个你根本不需要发送的token。 8/ 把非实时任务都批量化处理。夜间报告、打标签、评估、模型迁移、、这些都不需要即时响应。Anthropic的Batch API提供50%的输入输出折扣，而且大多数批次在一小时内就能完成。再叠加提示词缓存，输入成本能降低约95%。 9/ 先测量，再优化。发送之前先数一数token。按功能记录使用量。你几乎总能找到一个臃肿的提示词，它消耗了大部分账单。先解决那一个。 最后：无限访问从来不是重点。用十分之一的成本获得同样的结果，这才是真正的游戏规则。