Configuración de llama.cpp para Qwen3.8-27B con máximo contexto en RTX 4090
De Wikiprompt, la enciclopedia libre de prompts
Configuración de llama.cpp para Qwen3.8-27B con máximo contexto en RTX 4090 Indicadores de línea de comandos de llama.cpp para ejecutar Qwen3.8-27B con ~260K de contexto usando caché KV Q4 en una sola GPU de 24GB (RTX 4090), logrando ~41 tok/s de decodificación.
Contenido del PromptGuardar
🌐
-c 260000 -ngl 99 -ctv q4_0 -ctk q4_0
Iniciá sesión para ver el prompt completo
Continuar con:
Al iniciar sesión, aceptás nuestros Términos de uso y Política de privacidad
Uso
Este prompt está diseñado para usarse con coding. Copiá el contenido de arriba y pegalo en tu herramienta de IA preferida.
Para mejores resultados, personalizá los marcadores (indicados con corchetes o mayúsculas) con tus requisitos específicos.
Discusión
0 comentarios