Pengkuantuman dan Penyahkodan Spekulatif

Untuk model sumber terbuka yang dihos sendiri, terdapat dua peningkatan besar dari segi kelajuan dan kos:

1. Kuantisasi — pemberat lebih kecil, kurang RAM/VRAM dan inferens lebih pantas
2. Penyahkodan spekulatif — menjana berbilang token bagi setiap langkah

Model biasanya disimpan sebagai FP16 (16 bit bagi setiap pemberat). Kuantisasi mengurangkannya kepada bilangan bit yang lebih sedikit:

• FP16 — garis dasar
• INT8 — 2 kali lebih kecil, kehilangan kualiti yang hampir tidak ketara
• INT4 / Q4_K_M — 4 kali lebih kecil, kehilangan kualiti yang kecil
• INT2 / 1.58-bit — 8 kali atau lebih kecil, kehilangan kualiti yang nyata

GGUF ialah format yang digunakan oleh llama.cpp. Tahap yang biasa:

• Q4_K_M — keseimbangan terbaik (kualiti berbanding saiz)
• Q5_K_M — sedikit lebih besar, sedikit lebih baik
• Q8_0 — kualiti hampir setara FP16, pemampatan 2 kali ganda

Model 8B FP16 memerlukan kira-kira 16GB VRAM. Model yang sama dalam Q4 muat dalam kira-kira 5GB VRAM — dan boleh dijalankan pada GPU yang jauh lebih murah.

Caranya: gunakan model "draf" kecil untuk mencadangkan token, kemudian sahkan dengan model "sasaran" besar dalam satu laluan hadapan. Biasanya memberikan peningkatan kelajuan 2-3 kali ganda.

Draf mencadangkan K token. Sasaran memproses kesemuanya secara PARALLEL (satu laluan hadapan). Setiap token yang diterima adalah "percuma". Penolakan akan mengembalikan proses ke keadaan sebelumnya; biasanya sebahagian besar token diterima.

• Penyahkodan pandang hadapan — berbilang draf bagi setiap langkah
• Medusa — berbilang kepala penyahkodan yang dilatih bersama
• EAGLE — spekulasi berasaskan pepohon yang pantas

• vLLM — mempunyai kuantisasi (AWQ, GPTQ, FP8) dan penyahkodan spekulatif
• llama.cpp — kuantisasi dan spekulasi melalui --draft-model
• TensorRT-LLM — pelayan pengeluaran NVIDIA
• SGLang — pelayan pantas yang sesuai untuk kelompok, dengan pengelompokan berterusan

Ciri utama vLLM: memproses berbilang permintaan dengan panjang yang berbeza dalam laluan hadapan yang sama. Ini memberikan peningkatan besar pada kadar daya pemprosesan untuk pelayan pengeluaran.

Uji setiap tahap calon pada penilaian YOUR. Q4_K_M ialah titik permulaan lalai; pilih tahap lebih tinggi jika kualiti jatuh di bawah ambang.

Pengoptimuman yang berbeza membantu metrik yang berbeza:

• Kependaman satu permintaan: penyahkodan spekulatif
• Kadar daya pemprosesan berbilang pengguna: pengelompokan berterusan
• Kos memori: kuantisasi

Kuantisasikan kepada Q4 untuk memori + kelajuan. Gunakan penyahkodan spekulatif untuk kependaman. Gunakan pengelompokan berterusan untuk kadar daya pemprosesan. vLLM dan llama.cpp melaksanakan ketiga-tiganya.