듀얼 RTX 3090 Qwen3.8-27B SGLang 추측 디코딩 설정

설정: 듀얼 RTX 3090 Qwen3.8-27B SGLang 0.5.19 AutoRound INT4 FP8 KV 캐시 DFlash2와 z-lab BF16 블록 드래프터 262K 컨텍스트 벤치마크 결과(사고 꺼짐, 워밍업 3회 + 측정 5회): 코드 디코딩: 219.8 tok/s 내러티브: 124.6 tok/s TTFT: 64 ms 코드 CV: 2.9% 내러티브 CV: 3.3% 프리필: ~10K 토큰: 1,543 tok/s ~90K 토큰: 1,195 tok/s 메모리: GPU 1: ~22.5 GiB GPU 2: ~22.1 GiB 메모리 누수: ~20 MiB 비교: 내장 MTP 경로(동일 양자화): ~112 코드 tok/s 데드 드래프터 경로: ~39 tok/s DFlash2 블록 드래프터: 219.8 코드 tok/s vLLM 듀얼-3090 비교: 듀얼-슈퍼패스트: ~141 코드 tok/s 울트라패스트: ~231 코드 tok/s (하지만 BF16 KV 캐시로 전환, 전체 262K 컨텍스트 포기) 주의 사항: SGLang은 vLLM SpecDecoding 라인을 출력하지 않으므로 수용 길이를 직접 스크래핑할 수 없음. 사고 켜짐 상태에서는 표시되는 채팅 출력이 더 느리게 나타남(추론 토큰이 생성에 포함됨).