Qwen3.8-27B em 16GB de VRAM: Receita de Inferência Otimizada
De Wikiprompt, a enciclopédia livre de prompts
Qwen3.8-27B em 16GB de VRAM: Receita de Inferência Otimizada Uma receita técnica detalhada para executar um modelo de 27B com contexto de 100K em uma GPU de consumo com 16GB, cobrindo quantização seletiva, compressão de cache KV e decodificação especulativa.
Conteúdo do PromptSalvar
🌐
Modelo: Qwen3.8-27B
GPU: RTX 4070 Ti SUPER 16GB
Contexto: 100K tokens
Velocidade de decodificação: 47-50 tok/s
Uso de VRAM: 15,93GB
Pesos (GGUF híbrido de 13,5GB):
- Atenção: IQ4_XS
- FFNs: IQ3_S
Cache KV (comprimido via KVarN):
- K: kvarn5
- V: kvarn4
- Os 1.024 tokens KV mais recentes em precisão mais alta
Decodificação especulativa: MTP-2
Mudança principal: kvarn5/kvarn5 -> kvarn5/kvarn4 liberou ~6% de VRAM, aumentou o contexto utilizável de ~88K para 100K tokens.
Notas de implementação:
- Usa BeeLlama.cpp (fork do llama.cpp), não o llama.cpp padrão ou o LM Studio padrão
- Desempenho relatado pela comunidade; os resultados reais variam com hardware, comprimento do prompt, carga de trabalho e configuração
Entre para ver o prompt completo
Continuar com:
Ao entrar, você concorda com nossos Termos de uso e Política de privacidade
Uso
Este prompt foi projetado para uso com research. Copie o conteúdo acima e cole na sua ferramenta de IA preferida.
Para melhores resultados, personalize os marcadores (indicados por colchetes ou maiúsculas) com seus requisitos específicos.
Discussão
0 comentários