llama-server 플래그 최적화 벤치마크
Wikiprompt, 무료 프롬프트 백과사전에서
llama-server 플래그 최적화 벤치마크 RTX 5090에서 여섯 가지 모델에 걸친 llama-server 플래그 벤치마크로, 어떤 설정이 도움이 되고, 어떤 설정이 중복되며, 어떤 설정이 성능을 저하시키는지 보여줍니다.
프롬프트 내용저장
🌐
llama-server 플래그 벤치마크: RTX 5090, 16K 프롬프트, 6개 모델(Qwen3.8-27B, Gemma 4 31B, Qwen3.6-35B-A3B, Nemotron Lightning, Ornith 35B, Qwopus Flash).
--flash-attn 켜기: 무의미함, auto가 이미 Flash Attention을 선택함.
--parallel 1: 유용함, 비용 없음, Gemma 깊이에서 디코드 최대 10% 개선, VRAM 약 2.3GB 확보.
KV 캐시 Q8_0: 밀집 모델에서 1-2.6GB 절약, 3B 활성 MoE에서는 0.1GB만 절약, 디코드 속도 5-7% 저하.
KV 캐시 Q4_0: 디코드가 6개 모델에서 각각 -17%, -23%, -27%, -23%, -29%, -17% 감소, 품질은 거의 변화 없음(GPQA: F16 100, Q8 100, Q4 98).
MTP 드래프트 헤드: Qwen3.8-27B 약 2.2배, Gemma 약 1.5배, Nemotron Lightning 0.7배(더 느림). 추측 디코딩은 약 300 tok/s 이상에서는 자동으로 이점이 없음.
16K 프롬프트 첫 요청: 처리 5-6초, 캐시된 경우: 0.1-0.4초.
결론: 명령을 맹목적으로 복사하지 말고, 실제 워크로드로 벤치마크하세요.
전체 프롬프트를 보려면 로그인하세요
Continue with:
By logging in, you agree to our Terms of Use and Privacy Policy
사용법
이 프롬프트는 research와 함께 사용하도록 설계되었습니다. 위의 프롬프트 내용을 복사하여 원하는 AI 도구에 붙여넣으세요.
최상의 결과를 얻으려면 자리 표시자(대괄호 또는 대문자로 표시)를 특정 요구 사항으로 사용자 지정할 수 있습니다.
토론
댓글 0개