Für günstigere Inferenz quantisieren und destillieren

Ein kleineres Modell benötigt weniger Speicher und günstigere Hardware für das Serving. Modellkomprimierung reduziert Größe und Kosten und erhält dabei den Großteil der mühsam erzielten Genauigkeit.

Quantisierung speichert Gewichte mit weniger Bits, etwa als int8 statt float32. Das Modell wird ungefähr viermal kleiner und läuft auf demselben Chip oft schneller.

Der einfachste Weg quantisiert ein bereits trainiertes Modell ohne erneutes Training. Quantisierung nach dem Training erfordert einen Funktionsaufruf und verursacht nur einen geringen Genauigkeitsverlust.

Wenn Sie einige echte Batches einspeisen, kann die Quantisierung geeignete Wertebereiche auswählen. Dieser Kalibrierungsschritt erhält eine höhere Genauigkeit als eine blinde Konvertierung allein.

Wenn Genauigkeit besonders wichtig ist, simulieren Sie die int8-Arithmetik bereits während des Trainings. Quantisierungsbewusstes Training erfordert mehr Aufwand, stellt aber den Großteil der verlorenen Genauigkeit wieder her.

Knowledge Distillation trainiert ein kleines Schülermodell darauf, ein großes Lehrermodell nachzuahmen. Das Schülermodell behält einen großen Teil der Fähigkeiten des Lehrermodells zu einem Bruchteil der Kosten.

Das Schülermodell lernt aus den vollständigen Wahrscheinlichkeitsausgaben des Lehrermodells, nicht nur aus harten Antworten. Diese Soft Labels enthalten ein reichhaltigeres Signal als eine einzelne Klasse.

Mit Distillation können Sie ein schwergewichtiges Modell durch ein schlankes ersetzen, etwa DistilBERT durch BERT. Ein kleineres Schülermodell bedeutet geringere Latenz und eine kleinere Serving-Instanz.

Pruning entfernt Gewichte, die die Ausgabe kaum beeinflussen, und hinterlässt ein dünner besetztes, schlankeres Netzwerk. Es lässt sich gut mit Quantisierung und Distillation kombinieren.

Jede Verkleinerung kann die Genauigkeit beeinträchtigen. Testen Sie das komprimierte Modell daher mit echten Daten. Beobachten Sie die Kurve von Genauigkeit im Verhältnis zu Kosten und stoppen Sie, bevor die Qualität zu stark sinkt.

Komprimierte Modelle lassen sich gut mit schnellen Laufzeitumgebungen wie ONNX Runtime kombinieren. Exportieren Sie das Modell einmal und stellen Sie das kleinere Artefakt anschließend auf günstigerer Hardware bereit.

Sie haben Gewichte auf weniger Bits quantisiert, ein kleines Schülermodell aus einem großen Lehrermodell destilliert und ungenutzte Gewichte entfernt – und dabei stets den Kompromiss bei der Genauigkeit beobachtet. 🪶