llama-server 지연 시간 튜닝: 프롬프트 캐싱 + 추측 디코딩
Wikiprompt, 무료 프롬프트 백과사전에서
llama-server 지연 시간 튜닝: 프롬프트 캐싱 + 추측 디코딩 두 개의 무료 llama-server 플래그(프롬프트 캐싱, 추측 디코딩)에 대한 기술 벤치마크로, 로컬 LLM 추론에서 첫 토큰까지의 시간을 대폭 줄이고 디코딩 속도를 향상시키며, 재사용에 대한 측정 수치를 포함합니다.
프롬프트 내용저장
🌐
두 개의 llama-server 플래그가 프리필 대기 시간의 대부분을 제거합니다:
- 프롬프트 캐싱: 동일한 시스템 프롬프트, 새로운 질문 -> 약 1.004초에서 0.069초 TTFT (2,954-토큰 프롬프트); 3.814초에서 0.086초 (11,570-토큰 프롬프트). 디코드 속도는 변경되지 않음.
- 추측 디코딩 (모델 자체의 MTP 드래프트 헤드, n=2): 산문 61 -> 109 tok/s, 채팅 61 -> 113, 코드 61 -> 139, 반복 텍스트 61 -> 144. 비용: TTFT에 9ms 추가.
둘 다 켠 경우: 11.5k 컨텍스트에 대한 짧은 답변이 4.25초에서 0.30초로 단축됩니다.
측정 환경: Qwen3.8-27B Q6_K, llama.cpp, RTX 5090 1개, 배치 1, 304개 요청, 한 번에 하나의 변수만 변경.
전체 프롬프트를 보려면 로그인하세요
Continue with:
By logging in, you agree to our Terms of Use and Privacy Policy
사용법
이 프롬프트는 coding와 함께 사용하도록 설계되었습니다. 위의 프롬프트 내용을 복사하여 원하는 AI 도구에 붙여넣으세요.
최상의 결과를 얻으려면 자리 표시자(대괄호 또는 대문자로 표시)를 특정 요구 사항으로 사용자 지정할 수 있습니다.
토론
댓글 0개