Qwen3.8-27B llama.cpp Konfiguration für MTP spekulative Dekodierung
Von Wikiprompt, der freien Prompt-Enzyklopädie
Qwen3.8-27B llama.cpp Konfiguration für MTP spekulative Dekodierung llama.cpp-Befehlszeilenflags zur Aktivierung der nativen MTP-speculativen Dekodierung auf Qwen3.8-27B, wobei die Kontextlänge (130K) gegen eine höhere Dekodierungsgeschwindigkeit (~60 tok/s) auf einer einzelnen RTX 4090 eingetauscht wird.
Prompt-InhaltSpeichern
🌐
-c 130000 -ngl 99 -ctv q4_0 -ctk q4_0 --spec-type draft-mtp --spec-draft-n-max 4 --spec-draft-p-min 0.7
Melde dich an, um den vollständigen Prompt zu sehen
Weiter mit:
Mit der Anmeldung akzeptierst du unsere Nutzungsbedingungen und Datenschutz
Verwendung
Dieser Prompt ist für die Verwendung mit coding gedacht. Kopiere den Inhalt oben und füge ihn in dein bevorzugtes KI-Tool ein.
Für beste Ergebnisse passe die Platzhalter (eckige Klammern oder Großbuchstaben) an deine Anforderungen an.
Diskussion
0 Kommentare