AI 비용 최적화 워크플로우: 캐시, 라우팅, 배치

1/ 프롬프트에서 절대 변하지 않는 부분을 캐시하세요. 매 호출마다 동일한 시스템 프롬프트나 지식 베이스를 보내면, 움직이지 않는 텍스트를 다시 읽는 데 전체 비용을 지불하게 됩니다. Anthropic은 이 안정적인 접두사를 캐시할 수 있게 해줍니다. 캐시 읽기는 일반 입력 비용의 10%입니다. 이는 모든 호출에서 반복되는 부분에 대해 90% 할인을 받는 셈입니다. 2/ 하지만 캐싱은 접두사가 동일할 때만 작동합니다. 한 단어만 바꿔도, 심지어 타임스탬프 하나만 바꿔도 다시 전체 비용을 지불하게 됩니다. 해결책: 정적인 내용(지침, 도구, 문서)을 먼저 넣고, 변하는 내용을 마지막에 넣으세요. 순서는 사람들이 생각하는 것보다 더 중요합니다. 3/ 전체 대화를 다시 보내지 마세요. 대부분의 앱은 매 턴마다 전체 채팅 기록을 다시 전송합니다. 메시지가 늘어날수록 비용이 증가합니다. 오래된 턴을 짧은 실행 요약으로 압축하세요. 마지막 몇 개의 메시지만 그대로 유지하세요. 40개의 메시지로 이루어진 스레드는 마지막 3턴과 5줄의 요약으로 실행할 수 있습니다. 4/ 검색을 사용하고, 채워 넣지 마세요. '혹시 모르니' 전체 지식 베이스를 붙여넣는 것은 청구서가 폭발하는 방법입니다. 질문과 실제로 일치하는 3~5개의 청크만 가져오세요. 50,000 토큰의 컨텍스트에서 약 2,000 토큰으로 줄어들고, 답변은 더 정확해집니다. 5/ 작업을 처리할 수 있는 가장 작은 모델을 사용하세요. 대부분의 요청은 가장 큰 모델이 필요하지 않습니다. 분류, 라우팅, 짧은 응답은 Haiku 같은 더 저렴한 모델로 보내세요. 어려운 10%를 위해 비싼 모델을 아껴두세요. 6/ 출력을 제한하세요. 출력 토큰은 일반적으로 입력보다 비쌉니다. max_tokens을 설정하고 원하는 정확한 형식을 요청하세요. '한 문장으로 답하세요'는 스타일 선택이 아니라 비용 절감 수단입니다. 7/ 프롬프트뿐만 아니라 답변도 캐시하세요. 500명의 사용자가 같은 FAQ를 묻는다면, 500번의 모델 호출이 필요하지 않습니다. 일반적인 답변을 저장하고 자체 캐시에서 바로 제공하세요. 가장 저렴한 토큰은 결코 보내지 않는 토큰입니다. 8/ 실시간이 아닌 모든 것은 배치 처리하세요. 야간 보고서, 백로그 태깅, 평가, 모델 마이그레이션. 이 중 어느 것도 즉각적인 응답이 필요하지 않습니다. Anthropic의 Batch API는 입력과 출력 모두 50% 할인이며, 대부분의 배치는 1시간 이내에 완료됩니다. 프롬프트 캐싱과 함께 사용하면 입력 비용 절감은 약 95%에 도달할 수 있습니다. 9/ 최적화하기 전에 측정하세요. 보내기 전에 토큰 수를 세세요. 기능별 사용량을 기록하세요. 거의 항상 하나의 비대한 프롬프트가 청구서의 대부분을 차지하고 있음을 발견하게 될 것입니다. 그 프롬프트를 먼저 제거하세요. 마무리: 무제한 접근이 핵심은 아니었습니다. 같은 결과를 토큰의 10분의 1로 얻는 것이 핵심입니다. 그것이 전부입니다.