Daha Küçük ve Hızlı Modeller için Nicemleme
int8 çıkarımıyla ağırlıkları küçültün.
Daha Küçük ve Hızlı Modeller için Nicemleme, CoddyKit'te ücretsiz bir Deep Learning Academy dersidir. Bu, 4 dersinin 3. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Deep Learning Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Deep Learning Academy kursu toplamda 4 dersten oluşur.
Daha Küçük Ağırlıklar, Daha Hızlı Modeller
Büyük modeller sunulurken yavaş ve ağırdır. Nicemleme, sayıları daha az bit kullanarak depolayıp modelleri küçültür; böylece modeller daha hızlı ve daha hafif çalışır. 📉
Float32 ve Int8
Modeller genellikle ağırlıkları 32 bitlik kayan noktalı sayılar olarak depolar. Nicemleme, bunları 8 bitlik tamsayılara dönüştürerek boyutu yaklaşık dörtte bire indirir.
Int8 Neden Daha Hızlı Çalışır
Tamsayı aritmetiği çoğu donanımda kayan nokta aritmetiğinden daha ucuzdur; bu nedenle int8 çıkarımı daha az bellek bant genişliği kullanır ve daha kısa sürede tamamlanır.
Kayan Noktalı Sayıları Tamsayılara Eşleme
Bir ölçek ve sıfır noktası, her kayan noktalı sayı aralığını tamsayılara eşler. Hesaplama sırasında modelin yaklaşık kayan noktalı değeri yeniden elde etmesini sağlarlar.
Küçük Bir Doğruluk Maliyeti Bekleyin
Daha az bit, bir miktar kesinlik kaybı anlamına gelir; bu nedenle doğruluk biraz düşebilir. Çoğu modelde düşüş küçüktür ve hız artışına kesinlikle değer.
Dinamik Nicemleme: Kolay Kazanç
Dinamik nicemleme en basit yoldur. Ağırlıkları önceden, aktivasyonları ise çalışma sırasında nicemler; doğrusal katmanlar ve RNN katmanları için idealdir.
import torch
q = torch.quantization.quantize_dynamic(
model, {torch.nn.Linear}, dtype=torch.qint8)Statik Nicemleme: Önce Kalibre Edin
Statik nicemleme aktivasyonları da önceden nicemler. Aralıkları kalibre etmek için örnek veriler sağlarsınız; bunun karşılığında CPU'larda daha yüksek hız elde edersiniz.
Nicemleme Farkındalıklı Eğitim
En iyi doğruluk için nicemleme farkındalıklı eğitim, eğitim sırasında int8'i benzetir; böylece model daha düşük kesinliğe dayanmayı öğrenir.
Boyut Kazancını Ölçün
Nicemleme işleminden sonra modeli kaydedin ve dosya boyutlarını karşılaştırın. int8 sürümü genellikle float32 özgün sürümün yaklaşık dörtte biri boyutundadır. 💾
torch.save(q.state_dict(), 'model_int8.pt')Doğruluğu Mutlaka Yeniden Test Edin
Doğrulama kümenizi nicemlenmiş model üzerinde çalıştırın ve gerçek kullanıcılara dağıtmadan önce doğruluğun hâlâ kabul edilebilir olduğunu doğrulayın.
Nicemleme CPU ve Uç Cihazlarda Etkilidir
Nicemleme, belleğin kısıtlı ve tamsayı aritmetiğinin iyi desteklendiği CPU'larda, telefonlarda ve uç cihazlarda en fazla faydayı sağlar. 📱
Hızlı Kontrol
Kalibrasyon adımı olmadan en hızlı nicemlemeyi istiyorsunuz. Hangisi uygundur?
Özet: Daha Hafif ve Daha Hızlı
Bir modeli nicemleme ile küçülttünüz, float32 yerine int8 kullandınız, dinamik, statik veya farkındalıklı eğitimi seçtiniz ve doğruluğu yeniden kontrol ettiniz. 🎉
Yapay zeka eğitmeniyle Python öğren — ücretsiz
Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.
- Kurslar
- 30
- Dersler
- 120
Sıkça Sorulan Sorular
“Daha Küçük ve Hızlı Modeller için Nicemleme” dersi ücretsiz mi?
Evet — “Daha Küçük ve Hızlı Modeller için Nicemleme” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Deep Learning Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Deep Learning Academy kursu toplamda 4 dersten oluşur.
“Daha Küçük ve Hızlı Modeller için Nicemleme” dersinde ne öğreneceğim?
int8 çıkarımıyla ağırlıkları küçültün. Deep Learning Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Deep Learning Academy öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Deep Learning Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 3. dersidir.
“Daha Küçük ve Hızlı Modeller için Nicemleme” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Deep Learning Academy dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Deep Learning Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- TorchScript ve torch.compile
- ONNX'e Dışa Aktarma
- Daha Küçük ve Hızlı Modeller için Nicemleme
- FastAPI ile Sunma