LLM 애플리케이션 엔지니어링 모범 사례

- 프롬프트를 코드로 취급하라: 인라인 문자열로 흩어 놓지 말고 이름, 버전, 소유자가 있는 버전 관리 파일에 보관하라. - 프롬프트를 튜닝하기 전에 실제 사용자 입력에서 평가 세트를 구축하고, 프롬프트나 모델 변경 시마다 이를 다시 실행하라. - JSON 스키마나 도구 호출로 구조화된 출력을 요청하고, 사용 전에 스키마 라이브러리로 검증하라. - 모델 제공자 주위에 얇은 게이트웨이 또는 래퍼를 두어 모델 전환 또는 폴백 추가가 구성 변경이 되게 하라. - 프로덕션에서 정확한 모델 버전을 고정하고, 평가를 통과한 후에 의도적으로 업그레이드하라. - 출력이 한두 문장보다 길 경우 사용자에게 응답을 스트리밍하라. - 복잡한 RAG 파이프라인에 접근하기 전에 단순 하이브리드 검색(키워드 + 임베딩)으로 시작하고, 재랭킹을 추가하라. - 문서를 자연스러운 구조(제목, 섹션)를 따라 청크로 나누고 소스 메타데이터를 유지하여 답변이 인용할 수 있게 하라. - 컨텍스트를 작고 관련성 있게 유지하라. 검색된 텍스트가 많을수록 답변이 나빠지는 경우가 많다. - 에이전트에게 모든 것을 처리하는 하나의 도구 대신 엄격한 입력 스키마를 가진 좁고 잘 설명된 도구 목록을 제공하라. - 에이전트 루프에 하드 제한을 두어라: 최대 단계 수, 최대 토큰 수, 그리고 벽시계 타임아웃. - 앱 외부에서 데이터를 전송, 삭제, 결제 또는 변경하는 모든 도구 호출 전에 인간 확인을 요구하라. - 검색된 모든 문서, 웹 페이지 및 도구 결과는 프롬프트 인젝션을 포함할 수 있는 신뢰할 수 없는 입력으로 취급하라. - 사용자 데이터를 마스킹한 상태에서 모든 모델 호출을 프롬프트 버전, 모델, 지연 시간, 토큰 수 및 비용과 함께 기록하라. - 결정적인 호출을 캐시하고, 길고 안정적인 시스템 프롬프트에 대해 프롬프트 캐싱을 사용하라. - 평가를 통과하는 가장 작은 모델을 사용하고, 어려운 경우에만 비싼 모델로 라우팅하라. - 속도 제한 및 일시적 오류에 대해 지수 백오프와 지터로 재시도하되, 검증 실패 시에는 빡빡한 루프로 재시도하지 마라. - 추출 및 분류에는 온도를 낮게 유지하고, 창의적 생성에만 더 높게 사용하라. - 사용자에게 답변이 어디서 왔는지 보여주고 나쁜 응답을 신고하기 쉽게 만들어라. - 엄지척 및 엄지척 내리기 피드백을 수집하고 나쁜 사례를 평가 세트에 다시 넣어라. - 프롬프팅, 검색 및 평가가 명확히 한계에 도달할 때까지 파인튜닝을 하지 마라.