Qwen3.8-27B 16GB VRAM에서: 최적화된 추론 레시피

모델: Qwen3.8-27B GPU: RTX 4070 Ti SUPER 16GB 컨텍스트: 100K 토큰 디코드 속도: 47-50 tok/s VRAM 사용량: 15.93GB 가중치 (13.5GB 하이브리드 GGUF): - Attention: IQ4_XS - FFN: IQ3_S KV 캐시 (KVarN 압축): - K: kvarn5 - V: kvarn4 - 가장 최근 1,024 KV 토큰은 더 높은 정밀도로 처리 추측 디코딩: MTP-2 주요 변경 사항: kvarn5/kvarn5 -> kvarn5/kvarn4로 전환하여 VRAM 약 6%를 확보하고, 사용 가능한 컨텍스트를 약 88K에서 100K 토큰으로 증가시켰습니다. 구현 참고 사항: - 표준 llama.cpp나 일반 LM Studio가 아닌 BeeLlama.cpp (llama.cpp 포크)를 사용합니다 - 커뮤니티에서 보고된 성능이며, 실제 결과는 하드웨어, 프롬프트 길이, 작업 부하, 구성에 따라 달라질 수 있습니다