Kwantyzacja i dekodowanie spekulatywne
W przypadku modeli hostowanych samodzielnie: kwantyzacja int8/int4 zmniejsza zużycie pamięci, a dekodowanie spekulatywne zwiększa przepustowość.
Kwantyzacja i dekodowanie spekulatywne to bezpłatna lekcja AI Agents na CoddyKit. To lekcja 4 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej AI Agents, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs AI Agents zawiera 4 lekcji w sumie.
Części tej lekcji nie zostały jeszcze przetłumaczone i są wyświetlane po angielsku.
Optymalizacja modeli hostowanych samodzielnie
W przypadku samodzielnie hostowanych modeli open source dwa rozwiązania zapewniają największy wzrost szybkości i redukcję kosztów:
- Kwantyzacja — mniejsze wagi, mniej pamięci RAM/VRAM i szybsze wnioskowanie
- Dekodowanie spekulatywne — generowanie wielu tokenów w jednym kroku
Podstawy kwantyzacji
Modele są zwykle przechowywane w formacie FP16, czyli 16 bitów na wagę. Kwantyzacja zmniejsza tę liczbę:
- FP16 — poziom bazowy
- INT8 — 2 razy mniejszy, niemal pomijalna utrata jakości
- INT4 / Q4_K_M — 4 razy mniejszy, niewielka utrata jakości
- INT2 / 1.58-bit — ponad 8 razy mniejszy, zauważalna utrata jakości
GGUF i poziomy kwantyzacji
GGUF to format używany przez llama.cpp. Typowe poziomy:
- Q4_K_M — najlepszy kompromis między jakością a rozmiarem
- Q5_K_M — nieco większy i nieco lepszy
- Q8_0 — jakość zbliżona do FP16, kompresja 2:1
Quantise With llama.cpp
./llama-quantize models/llama-3-8b-f16.gguf models/llama-3-8b-q4_k_m.gguf Q4_K_M
# Or download pre-quantised from TheBloke / unsloth on HuggingFaceWpływ na sprzęt
Model 8B w formacie FP16 wymaga około 16 GB pamięci VRAM. Ten sam model w formacie Q4 mieści się w około 5 GB VRAM, dzięki czemu działa na znacznie tańszym GPU.
Dekodowanie spekulatywne
Sztuczka polega na tym, że mały model wstępny proponuje tokeny, a następnie duży model docelowy weryfikuje je w jednym przebiegu w przód. Często pozwala to uzyskać 2–3-krotne przyspieszenie.
from transformers import AutoModelForCausalLM
target = AutoModelForCausalLM.from_pretrained('meta-llama/Llama-3.1-70B')
draft = AutoModelForCausalLM.from_pretrained('meta-llama/Llama-3.1-8B')
outputs = target.generate(
input_ids,
assistant_model=draft, # speculative decoding
max_new_tokens=200
)Dlaczego to działa
Model wstępny proponuje K tokenów. Model docelowy przetwarza je wszystkie RÓWNOLEGLE, w jednym przebiegu w przód. Każdy zaakceptowany token jest „darmowy”. Odrzucenie powoduje wycofanie, ale zwykle większość tokenów zostaje zaakceptowana.
Inne sposoby przyspieszania dekodowania
- Dekodowanie z wyprzedzeniem — wiele propozycji w jednym kroku
- Medusa — wiele głów dekodujących trenowanych wspólnie
- EAGLE — szybka spekulacja oparta na drzewie
Narzędzia implementujące te rozwiązania
- vLLM — obsługuje zarówno kwantyzację (AWQ, GPTQ, FP8), jak i dekodowanie spekulatywne
- llama.cpp — kwantyzacja i spekulacja za pomocą --draft-model
- TensorRT-LLM — serwer produkcyjny firmy NVIDIA
- SGLang — szybki serwer przyjazny przetwarzaniu wsadowemu, z ciągłym grupowaniem
Ciągłe grupowanie
Najważniejsza funkcja vLLM: przetwarzanie wielu żądań o różnej długości w jednym przebiegu w przód. W serwerach produkcyjnych zapewnia ogromny wzrost przepustowości.
Wybór poziomu kwantyzacji
Proszę przetestować każdy rozważany poziom na WŁASNYM zbiorze ewaluacyjnym. Q4_K_M to domyślny punkt wyjścia; jeśli jakość spadnie poniżej progu, należy wybrać wyższy poziom.
Opóźnienie pojedynczego tokena a przepustowość
Różne optymalizacje poprawiają różne metryki:
- Opóźnienie pojedynczego żądania: dekodowanie spekulatywne
- Przepustowość dla wielu użytkowników: ciągłe grupowanie
- Koszt pamięci: kwantyzacja
Wpływ kwantyzacji
Jaki jest główny efekt kwantyzacji int4?
Podsumowanie
Kwantyzujcie do Q4, aby zmniejszyć zużycie pamięci i zwiększyć szybkość. Używajcie dekodowania spekulatywnego, aby zmniejszyć opóźnienie. Stosujcie ciągłe grupowanie, aby zwiększyć przepustowość. vLLM i llama.cpp implementują wszystkie trzy rozwiązania.
Często zadawane pytania
Czy lekcja „Kwantyzacja i dekodowanie spekulatywne” jest bezpłatna?
Tak — pełny tekst „Kwantyzacja i dekodowanie spekulatywne” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu AI Agents, przejdź na CoddyKit PRO. Kurs AI Agents zawiera 4 lekcji w sumie.
Co nauczysz się w „Kwantyzacja i dekodowanie spekulatywne”?
W przypadku modeli hostowanych samodzielnie: kwantyzacja int8/int4 zmniejsza zużycie pamięci, a dekodowanie spekulatywne zwiększa przepustowość. Ćwiczysz AI Agents z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć AI Agents?
Nie wymagamy żadnego doświadczenia. AI Agents w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 4 z 4.
Ile czasu zajmuje lekcja „Kwantyzacja i dekodowanie spekulatywne”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji AI Agents?
Tak. Każda lekcja AI Agents zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Budżety tokenów na krok
- Routing modeli (tani -> drogi)
- Buforowanie promptów i wyników (Anthropic, Vertex)
- Kwantyzacja i dekodowanie spekulatywne