Qwen3.8-Flash-Next 로컬 추론 튜닝 레시피
Wikiprompt, 무료 프롬프트 백과사전에서
Qwen3.8-Flash-Next 로컬 추론 튜닝 레시피 듀얼 RTX 3090에서 llama.cpp로 Qwen3.8-Flash-Next를 최적화하는 기술 레시피로, 양자화, KV 캐시, MoE 오프로딩, 배칭, NUMA 설정을 다룹니다.
프롬프트 내용저장
🌐
Qwen3.8-Flash-Next 로컬 설정: RTX 3090 x2(48GB VRAM) + 128GB 시스템 RAM:
1. 양자화: 메모리 대비 품질 트레이드오프에 따라 Q4_K_XL 또는 UD-IQ1_S를 선택합니다.
2. KV 캐시: 더 큰 컨텍스트에서 균형 잡힌 메모리와 디코딩 성능을 위해 q8_0 KV를 사용합니다.
3. MoE 레이어: --n-cpu-moe 및 --moe-stream을 사용하여 MoE 워크로드를 시스템 RAM으로 오프로드합니다.
4. 레이어 분할: 추론 중 페이지 폴트를 피하기 위해 몇 GB의 VRAM 여유 공간을 남겨 둡니다.
5. 배칭: 프리필 처리량을 위해 --batch-size 및 --ubatch-size를 2048-4096으로 설정합니다.
6. NUMA: CPU-GPU 메모리 트래픽을 줄이기 위해 워크로드를 적절히 바인딩합니다.
7. 환경: 최상의 성능을 위해 Linux 또는 WSL2를 선호합니다.
예상 성능: 300-600 tok/s 프리필, 40-50 tok/s 디코드.
전체 프롬프트를 보려면 로그인하세요
Continue with:
By logging in, you agree to our Terms of Use and Privacy Policy
사용법
이 프롬프트는 coding와 함께 사용하도록 설계되었습니다. 위의 프롬프트 내용을 복사하여 원하는 AI 도구에 붙여넣으세요.
최상의 결과를 얻으려면 자리 표시자(대괄호 또는 대문자로 표시)를 특정 요구 사항으로 사용자 지정할 수 있습니다.
토론
댓글 0개