Quantisierung und spekulatives Decoding

Bei selbst gehosteten offenen Modellen gibt es zwei große Geschwindigkeits- und Kostenvorteile:

1. Quantisierung — kleinere Gewichte, weniger RAM/VRAM und schnellere Inferenz
2. Speculative Decoding — mehrere Tokens pro Schritt generieren

Modelle werden normalerweise als FP16 mit 16 Bit pro Gewicht gespeichert. Durch Quantisierung wird die Anzahl der Bits reduziert:

• FP16 — Baseline
• INT8 — doppelt so klein, etwa kein Qualitätsverlust
• INT4 / Q4_K_M — viermal so klein, geringer Qualitätsverlust
• INT2 / 1.58-bit — mehr als achtmal so klein, deutlicher Qualitätsverlust

GGUF ist das von llama.cpp verwendete Format. Häufige Stufen:

• Q4_K_M — bestes Verhältnis von Qualität zu Größe
• Q5_K_M — etwas größer, etwas besser
• Q8_0 — nahezu FP16-Qualität, zweifache Komprimierung

Ein 8B-FP16-Modell benötigt etwa 16 GB VRAM. Dasselbe Modell passt in Q4 mit etwa 5 GB VRAM und läuft damit auf einer deutlich günstigeren GPU.

Der Trick: Ein kleines „Draft“-Modell schlägt Tokens vor, die anschließend in einem einzigen Vorwärtsdurchlauf vom großen „Target“-Modell überprüft werden. Das beschleunigt die Ausführung häufig um das Zwei- bis Dreifache.

Das Draft-Modell schlägt K Tokens vor. Das Target-Modell verarbeitet sie alle PARALLEL in einem einzigen Vorwärtsdurchlauf. Jeder akzeptierte Token ist „kostenlos“. Bei einer Ablehnung wird zurückgerollt; normalerweise werden die meisten Tokens akzeptiert.

• Lookahead Decoding — mehrere Entwürfe pro Schritt
• Medusa — mehrere gemeinsam trainierte Decoding-Köpfe
• EAGLE — schnelle baumbasierte Spekulation

• vLLM — unterstützt sowohl Quantisierung (AWQ, GPTQ, FP8) als auch Speculative Decoding
• llama.cpp — Quantisierung und Spekulation über --draft-model
• TensorRT-LLM — der Produktionsserver von NVIDIA
• SGLang — schneller, batchfreundlicher Server mit kontinuierlichem Batching

Das wichtigste Feature von vLLM: Mehrere Anfragen mit unterschiedlichen Längen werden im selben Vorwärtsdurchlauf verarbeitet. Das steigert den Durchsatz von Produktionsservern enorm.

Testen Sie jede infrage kommende Stufe mit Ihrer eigenen Evaluation. Q4_K_M ist der übliche Ausgangspunkt. Wählen Sie eine höhere Stufe, wenn die Qualität unter den Schwellenwert fällt.

Unterschiedliche Optimierungen helfen bei unterschiedlichen Messgrößen:

• Latenz bei einer einzelnen Anfrage: Speculative Decoding
• Durchsatz für mehrere Benutzer: Continuous Batching
• Speicherbedarf: Quantisierung

Quantisieren Sie auf Q4, um Speicherbedarf und Laufzeit zu reduzieren. Verwenden Sie Speculative Decoding für geringere Latenz. Nutzen Sie Continuous Batching für höheren Durchsatz. vLLM und llama.cpp implementieren alle drei Verfahren.