Kwantyzacja i destylacja na potrzeby tańszej predykcji

Mniejszy model wymaga mniej pamięci i tańszego sprzętu do obsługi. Kompresja modelu zmniejsza jego rozmiar i koszt, zachowując większość wypracowanej dokładności.

Kwantyzacja przechowuje wagi z użyciem mniejszej liczby bitów, na przykład int8 zamiast float32. Model staje się mniej więcej cztery razy mniejszy i często działa szybciej na tym samym układzie.

Najprostsza metoda polega na kwantyzacji już wytrenowanego modelu bez ponownego trenowania. Kwantyzacja po trenowaniu wymaga jednego wywołania funkcji i powoduje tylko niewielki spadek dokładności.

Przekazanie kilku rzeczywistych partii danych pomaga kwantyzacji dobrać odpowiednie zakresy wartości. Ten etap kalibracji pozwala zachować większą dokładność niż sama konwersja bez przygotowania.

Gdy dokładność ma największe znaczenie, podczas samego trenowania symuluje się obliczenia int8. Trenowanie uwzględniające kwantyzację wymaga więcej pracy, ale pozwala odzyskać większość utraconej dokładności.

Destylacja wiedzy polega na trenowaniu małego modelu ucznia tak, aby naśladował duży model nauczyciela. Uczeń zachowuje znaczną część umiejętności nauczyciela przy ułamku kosztów.

Uczeń uczy się na pełnych wynikach prawdopodobieństwa nauczyciela, a nie tylko na jednoznacznych odpowiedziach. Te miękkie etykiety niosą bogatszy sygnał niż pojedyncza klasa.

Destylacja pozwala zastąpić ciężki model lżejszym, na przykład DistilBERT modelem BERT. Mniejszy uczeń oznacza mniejsze opóźnienia i mniejszą instancję do obsługi.

Przycinanie usuwa wagi, które niemal nie wpływają na wynik, pozostawiając rzadszą i lżejszą sieć. Dobrze współpracuje zarówno z kwantyzacją, jak i destylacją.

Każde zmniejszenie modelu może obniżyć dokładność, dlatego testuj skompresowany model na rzeczywistych danych. Obserwuj zależność dokładności od kosztu i zatrzymaj się, zanim jakość spadnie zbyt mocno.

Skompresowane modele dobrze współpracują z szybkimi środowiskami uruchomieniowymi, takimi jak ONNX Runtime. Wyeksportuj model raz, a następnie obsługuj mniejszy artefakt na tańszym sprzęcie.

Ustalmy dokładnie, na czym polega destylacja.

Zmniejszyłeś liczbę bitów używanych do przechowywania wag, utworzyłeś małego ucznia na podstawie dużego nauczyciela i usunąłeś nieaktywne wagi, cały czas obserwując kompromis między dokładnością a kosztem. 🪶