Gruplama, Karıştırma ve num_workers
Hız için bir DataLoader yapılandırın.
Gruplama, Karıştırma ve num_workers, CoddyKit'te ücretsiz bir Deep Learning Academy dersidir. Bu, 4 dersinin 2. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Deep Learning Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Deep Learning Academy kursu toplamda 4 dersten oluşur.
DataLoader ile Tanışın
Bir veri kümesi her seferinde tek bir örnek verir, ancak eğitim gruplar hâlinde yapılır. DataLoader, veri kümenizi sarar ve uygun toplu gruplar hâlinde sunar. 📦
from torch.utils.data import DataLoader
loader = DataLoader(ds)Toplu Gruplama Zaman Kazandırır
batch_size değerini ayarladığınızda yükleyici bu sayıda örneği tek bir tensörde birleştirir. Daha büyük gruplar donanımınızı daha iyi kullanır ve gürültülü güncellemeleri yumuşatır.
loader = DataLoader(ds, batch_size=32)Tek Bir Toplu Grup, Birlikte Birleştirilir
Her toplu grup yeni bir ilk boyut ekler. 784 biçimindeki otuz iki örnek, model için hazır, 32'ye 784 biçiminde tek bir tensöre dönüşür.
Toplu Gruplar Üzerinde Döngü Kurun
Yükleyici üzerinde herhangi bir Python dizisi gibi yineleme yaparsınız. Döngünün her turu, eğitim adımınız için bir toplu grup girdi ve etiket döndürür.
for xb, yb in loader:
pred = model(xb)Her Çağda Karıştırın
shuffle değerini True olarak ayarlamak, örnekleri her çağda yeniden sıralar. Bu, tesadüfi sıralamayı ortadan kaldırarak modelin verilerinizin dizisini ezberlemesini önler.
loader = DataLoader(ds, batch_size=32, shuffle=True)Eğitimi Karıştırın, Testi Değil
eğitim kümesi için karıştırmayı açın; doğrulama ve test için kapatın. Değerlendirme yalnızca başarıyı ölçer, bu nedenle orada sabit bir sıra yeterlidir.
num_workers Paralel Yükleme Yapar
Verileri okumak ve kodlarını çözmek GPU'yu bekletebilir. num_workers değerini sıfırdan büyük ayarlamak, model eğitilirken sonraki toplu grubu hazırlayan yardımcı işlemler başlatır.
loader = DataLoader(ds, batch_size=32, num_workers=4)Makul Bir İşçi Sayısı Seçin
num_workers için yaygın bir başlangıç değeri, sahip olduğunuz CPU çekirdeği sayısıdır. Fazlası belleği gereksiz yere meşgul edebilir; bu nedenle körü körüne tahmin etmek yerine ölçüm yapın.
pin_memory GPU Kopyalarını Hızlandırır
GPU üzerinde eğitim yaparken pin_memory değerini True olarak ayarlayın. Bu, toplu grupları sayfa kilitli belleğe yerleştirerek aygıta aktarımları belirgin biçimde hızlandırır.
loader = DataLoader(ds, batch_size=32, pin_memory=True)Son Toplu Grubu Yönetin
Son toplu grup çoğu zaman diğerlerinden küçüktür. Modeliniz tüm toplu grupların aynı boyutta olmasını gerektiriyorsa drop_last değerini True yaparak onu atın.
loader = DataLoader(ds, batch_size=32, drop_last=True)Her Bölüm İçin Bir Yükleyici
Uygulamada eğitim, doğrulama ve test için ayrı birer yükleyici oluşturursunuz. Her birinin kendi ayarları olur; örneğin karıştırma yalnızca eğitimde açık olur.
Kısa Kontrol
num_workers değerini sıfırdan büyük ayarlamak gerçekte ne yapar?
Özet
Bir DataLoader, veri kümenizi toplu gruplara ayırır, eğitim verilerini karıştırır ve toplu grupları paralel yüklemek için num_workers kullanır. Modelinizin verilerle beslenmesini ve hızlı çalışmasını sağlar. 🎉
Yapay zeka eğitmeniyle Python öğren — ücretsiz
Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.
- Kurslar
- 30
- Dersler
- 120
Sıkça Sorulan Sorular
“Gruplama, Karıştırma ve num_workers” dersi ücretsiz mi?
Evet — “Gruplama, Karıştırma ve num_workers” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Deep Learning Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Deep Learning Academy kursu toplamda 4 dersten oluşur.
“Gruplama, Karıştırma ve num_workers” dersinde ne öğreneceğim?
Hız için bir DataLoader yapılandırın. Deep Learning Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Deep Learning Academy öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Deep Learning Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 2. dersidir.
“Gruplama, Karıştırma ve num_workers” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Deep Learning Academy dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Deep Learning Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Özel Veri Kümesi Sınıfı Yazma
- Gruplama, Karıştırma ve num_workers
- Değişken Uzunluktaki Girdiler için collate_fn
- Girdileri Normalleştirme ve Standartlaştırma