Daha Ucuz Çıkarım için Nicemleyin ve Damıtın

Daha küçük bir modelin sunulması için daha az bellek ve daha ucuz donanım gerekir. Model sıkıştırma, uğraşarak elde ettiğiniz doğruluğun çoğunu korurken boyutu ve maliyeti azaltır.

Nicemleme, ağırlıkları float32 yerine int8 gibi daha az bit kullanarak saklar. Model yaklaşık dört kat küçülür ve çoğu zaman aynı yongada daha hızlı çalışır.

En basit yol, zaten eğitilmiş bir modeli yeniden eğitim yapmadan nicemlemektir. Eğitim sonrası nicemleme, tek bir işlev çağrısı gerektirir ve doğrulukta çok küçük bir kayba yol açar.

Birkaç gerçek veri kümesini vermek, nicemlemenin iyi değer aralıkları seçmesine yardımcı olur. Bu kalibrasyon adımı, doğruluğu yalnızca körlemesine dönüştürmeye kıyasla daha yüksek tutar.

Doğruluk en önemli olduğunda, eğitim sırasında int8 matematiğini taklit edersiniz. Nicemleme farkındalıklı eğitim daha fazla emek gerektirir, ancak kaybedilen doğruluğun çoğunu geri kazandırır.

Bilgi damıtma, küçük bir öğrenci modelini büyük bir öğretmeni taklit edecek şekilde eğitir. Öğrenci, maliyetin çok küçük bir bölümüyle öğretmenin becerisinin büyük kısmını korur.

Öğrenci, yalnızca kesin yanıtlardan değil, öğretmenin tam olasılık çıktılarından öğrenir. Bu yumuşak etiketler, tek bir sınıftan daha zengin bir sinyal taşır.

Damıtma, ağır bir modeli DistilBERT'in BERT yerine kullanılması gibi daha yalın bir modelle değiştirmenizi sağlar. Daha küçük öğrenci, daha düşük gecikme ve daha küçük bir sunma örneği demektir.

Budama, çıktıyı neredeyse hiç etkilemeyen ağırlıkları kaldırarak daha seyrek ve yalın bir ağ bırakır. Hem nicemleme hem de damıtmayla iyi bir şekilde birlikte çalışır.

Her küçültme doğruluğu riske atar; bu nedenle sıkıştırılmış modeli gerçek veriler üzerinde test edin. Doğruluk ve maliyet eğrisini izleyin ve kalite çok fazla düşmeden durun.

Sıkıştırılmış modeller, ONNX Runtime gibi hızlı çalışma ortamlarıyla iyi eşleşir. Bir kez dışa aktarın, ardından daha küçük ürünü daha ucuz donanımda sunun.

Damıtmanın gerçekte ne yaptığını netleştirelim.

Ağırlıkları daha az bite nicemlediniz, büyük bir öğretmenden küçük bir öğrenci damıttınız ve işe yaramayan ağırlıkları budadınız; bunların tümünü doğruluk dengesini izleyerek yaptınız. 🪶