Kuantisasi dan Distilasi untuk Inferensi yang Lebih Murah

Model yang lebih kecil membutuhkan lebih sedikit memori dan perangkat keras yang lebih murah untuk disajikan. Kompresi model mengurangi ukuran dan biaya sambil mempertahankan sebagian besar akurasi yang telah Anda usahakan.

Kuantisasi menyimpan bobot dalam lebih sedikit bit, seperti int8 alih-alih float32. Model menjadi kira-kira empat kali lebih kecil dan sering berjalan lebih cepat pada chip yang sama.

Cara paling sederhana adalah melakukan kuantisasi pada model yang sudah dilatih tanpa pelatihan ulang. Kuantisasi pascapelatihan hanya memerlukan satu pemanggilan fungsi dan sedikit penurunan akurasi.

Memasukkan beberapa batch nyata membantu kuantisasi memilih rentang nilai yang tepat. Langkah kalibrasi ini mempertahankan akurasi lebih tinggi daripada sekadar konversi tanpa pertimbangan.

Jika akurasi paling penting, simulasikan perhitungan int8 selama pelatihan itu sendiri. Pelatihan sadar kuantisasi membutuhkan lebih banyak usaha, tetapi memulihkan sebagian besar akurasi yang hilang.

Distilasi pengetahuan melatih model siswa kecil untuk meniru guru yang besar. Siswa mempertahankan sebagian besar kemampuan guru dengan biaya yang jauh lebih rendah.

Siswa belajar dari seluruh output probabilitas guru, bukan hanya jawaban tegas. Label lunak ini membawa sinyal yang lebih kaya daripada satu kelas.

Distilasi memungkinkan Anda mengganti model berat dengan model ramping, seperti DistilBERT untuk BERT. Siswa yang lebih kecil berarti latensi lebih rendah dan instans penyajian yang lebih kecil.

Pemangkasan menghapus bobot yang hampir tidak memengaruhi output, sehingga menyisakan jaringan yang lebih jarang dan ramping. Teknik ini cocok dipadukan dengan kuantisasi maupun distilasi.

Setiap pengecilan berisiko menurunkan akurasi, jadi uji model terkompresi pada data nyata. Amati kurva akurasi dibandingkan biaya dan berhentilah sebelum kualitas turun terlalu jauh.

Model terkompresi cocok dipadukan dengan runtime cepat seperti ONNX Runtime. Ekspor sekali, lalu sajikan artefak yang lebih kecil pada perangkat keras yang lebih murah.

Anda mengkuantisasi bobot menjadi lebih sedikit bit, mendistilasi siswa kecil dari guru besar, dan memangkas bobot yang tidak berguna, sambil terus mengamati kompromi akurasi. 🪶