Quantizzare e distillare per un'inferenza più economica

Un modello più piccolo richiede meno memoria e hardware meno costoso per il serving. La compressione del modello ne riduce dimensioni e costi, mantenendo gran parte della precisione ottenuta.

La quantizzazione memorizza i pesi con un numero inferiore di bit, ad esempio int8 invece di float32. Il modello diventa circa quattro volte più piccolo e spesso più veloce sullo stesso chip.

Il percorso più semplice consiste nel quantizzare un modello già addestrato senza riaddestrarlo. La quantizzazione post-addestramento richiede una sola chiamata di funzione e comporta una perdita minima di precisione.

Fornire alcuni batch reali aiuta la quantizzazione a scegliere buoni intervalli di valori. Questo passaggio di calibrazione preserva una precisione maggiore rispetto alla sola conversione automatica.

Quando la precisione è fondamentale, simuli l'aritmetica int8 direttamente durante l'addestramento. Il quantization-aware training richiede più lavoro, ma recupera gran parte della precisione persa.

La distillazione della conoscenza addestra un piccolo modello studente a imitare un grande modello insegnante. Lo studente conserva gran parte delle capacità dell'insegnante a una frazione del costo.

Lo studente apprende dagli output di probabilità completi dell'insegnante, non solo dalle risposte rigide. Queste etichette morbide contengono un segnale più ricco rispetto a una singola classe.

La distillazione consente di sostituire un modello pesante con uno più leggero, come DistilBERT al posto di BERT. Uno studente più piccolo significa una latenza inferiore e un'istanza di serving più piccola.

Il pruning rimuove i pesi che incidono appena sull'output, lasciando una rete più sparsa e leggera. Si abbina bene sia alla quantizzazione sia alla distillazione.

Ogni riduzione può compromettere la precisione, quindi testi il modello compresso su dati reali. Osservi la curva precisione rispetto al costo e si fermi prima che la qualità diminuisca troppo.

I modelli compressi si abbinano bene a runtime veloci come ONNX Runtime. Esporti una volta, poi distribuisca l'artefatto più piccolo su hardware meno costoso.

Ha quantizzato i pesi con un numero inferiore di bit, distillato un piccolo studente da un grande insegnante ed eseguito il pruning dei pesi inutili, monitorando sempre il compromesso sulla precisione. 🪶