Dataset dan DataLoader Tersuai
torch.utils.data.Dataset, __len__/__getitem__, DataLoader, transformasi, penambahan data.
Dataset dan DataLoader Tersuai ialah pelajaran Pelajari AI dengan Python percuma di CoddyKit. Ini ialah pelajaran 2 daripada 4. Sebanyak 3 pelajaran dalam laluan pembelajaran ini boleh dibaca sepenuhnya secara percuma — selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan praktikal dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Pelajari AI dengan Python, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Pelajari AI dengan Python merangkumi sejumlah 4 pelajaran.
Menyuap Data kepada Model
Latihan memerlukan cara yang cekap untuk membaca, mengubah dan mengumpulkan data. PyTorch menyediakan dua abstraksi: set data (mengetahui cara mendapatkan satu sampel) dan DataLoader (mengumpulkan serta mengacaknya).
from torch.utils.data import Dataset, DataLoaderAntara Muka Set Data
Subkelas Dataset tersuai mesti melaksanakan dua kaedah: __len__ (bilangan sampel) dan __getitem__ (mengembalikan sampel pada sesuatu indeks). PyTorch memanggil kaedah ini untuk mendapatkan data.
Melaksanakan __len__
__len__ memberitahu PyTorch saiz set data supaya ia mengetahui bilangan indeks yang wujud dan bilangan kelompok dalam satu epok.
class ImageDataset(Dataset):
def __init__(self, paths, labels):
self.paths = paths
self.labels = labels
def __len__(self):
return len(self.paths)Melaksanakan __getitem__
__getitem__ memuatkan dan mengembalikan satu sampel, bersama labelnya, berdasarkan sesuatu indeks. Di sinilah anda membuka fail imej dan convert imej itu menjadi tensor.
from PIL import Image
def __getitem__(self, idx):
img = Image.open(self.paths[idx]).convert("RGB")
label = self.labels[idx]
return img, labelMengapa Transformasi?
Imej mentah berbeza dari segi saiz dan julat piksel. Transformasi menyeragamkannya: ubah saiz kepada bentuk tetap, tukarkannya kepada tensor dan normalkan nilai piksel supaya model berlatih dengan stabil.
from torchvision import transformstransforms.Compose
transforms.Compose merangkaikan beberapa transformasi menjadi satu saluran paip yang digunakan mengikut turutan. Rangkaian lazim ialah Resize, kemudian ToTensor, kemudian Normalize.
tf = transforms.Compose([
transforms.Resize((224, 224)),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225])
])Memahami Transformasi
Resize menetapkan saiz ruang; ToTensor menukarkan imej PIL kepada tensor dan menskalakan piksel kepada [0,1]; Normalize mengalih serta menskalakan setiap saluran kepada min sifar dan varians unit, lalu mempercepatkan penumpuan.
Menggunakan Transformasi dalam Set Data
Hantar transformasi kepada set data dan gunakannya di dalam __getitem__ supaya setiap sampel dipraproses secara konsisten ketika diperoleh.
class ImageDataset(Dataset):
def __init__(self, paths, labels, transform):
self.paths, self.labels, self.transform = paths, labels, transform
def __getitem__(self, idx):
img = Image.open(self.paths[idx]).convert("RGB")
return self.transform(img), self.labels[idx]Membungkus dalam DataLoader
DataLoader menukarkan set data menjadi lelaran kelompok. Tetapkan batch_size untuk mengawal bilangan sampel setiap langkah dan shuffle=True untuk mengacak susunan pada setiap epok, yang penting untuk latihan.
dataset = ImageDataset(paths, labels, tf)
loader = DataLoader(dataset, batch_size=32, shuffle=True)num_workers untuk Kelajuan
num_workers menghasilkan subproses selari untuk memuatkan dan mengubah data ketika GPU menjalankan latihan, sekali gus menyembunyikan kependaman input/output. Nilai seperti 4 sering memastikan GPU menerima data tanpa perlu menunggu.
loader = DataLoader(
dataset,
batch_size=32,
shuffle=True,
num_workers=4
)Melalui Kelompok
Ulangi DataLoader untuk mendapatkan tensor berkumpulan. Setiap lelaran menghasilkan (images, labels), dengan imej berbentuk [batch_size, channels, H, W], yang sedia digunakan oleh model.
for images, labels in loader:
print(images.shape) # torch.Size([32, 3, 224, 224])
breakSemakan Ringkas
Uji pengetahuan anda tentang saluran paip data.
Imbas Kembali: Set Data dan DataLoader
Anda membina Dataset tersuai dengan __len__ dan __getitem__, mempraproses imej menggunakan transforms.Compose (Resize, ToTensor, Normalize), kemudian membungkusnya dalam DataLoader dengan batch_size, shuffle dan num_workers untuk menyuapkan kelompok kepada model dengan cekap.
Pelajari Python dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 53
- Pelajaran
- 225
Soalan Lazim
Adakah pelajaran “Dataset dan DataLoader Tersuai” percuma?
Ya — sebanyak 3 pelajaran dalam laluan pembelajaran Pelajari AI dengan Python, termasuk “Dataset dan DataLoader Tersuai”, boleh dibaca sepenuhnya secara percuma di web ini. Selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan interaktif dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Kursus Pelajari AI dengan Python merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Dataset dan DataLoader Tersuai”?
torch.utils.data.Dataset, __len__/__getitem__, DataLoader, transformasi, penambahan data. Anda berlatih Pelajari AI dengan Python menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan Pelajari AI dengan Python?
Tiada pengalaman terdahulu diperlukan. Pembelajaran Pelajari AI dengan Python di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 2 daripada 4.
Berapa lamakah pelajaran “Dataset dan DataLoader Tersuai” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran Pelajari AI dengan Python ini?
Ya. Setiap pelajaran Pelajari AI dengan Python menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Tensor PyTorch dan Autograd
- Dataset dan DataLoader Tersuai
- Membina dan Melatih CNN dalam PyTorch
- Pengesanan Objek dengan YOLOv8