Jadwal Laju Pembelajaran dan Warmup
Strategi langkah, kosinus, dan warmup
Jadwal Laju Pembelajaran dan Warmup adalah pelajaran Deep Learning Academy gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Deep Learning Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Deep Learning Academy mencakup 4 pelajaran total.
Laju yang Berubah
Satu laju pembelajaran tetap jarang ideal untuk seluruh proses. Sebuah jadwal mengubahnya seiring waktu, biasanya besar di awal dan kecil menjelang akhir.
Mengapa Peluruhan Membantu
Langkah besar di awal mempercepat pencapaian tujuan. Mengecilkan laju pembelajaran di tahap berikutnya memungkinkan model menetap secara tepat pada titik minimum, alih-alih terus memantul di sekitarnya.
Peluruhan Bertahap
Jadwal paling sederhana adalah peluruhan bertahap: turunkan laju pembelajaran dengan faktor tetap setiap sejumlah epoch, misalnya membaginya menjadi dua setiap tiga puluh epoch.
sched = torch.optim.lr_scheduler.StepLR(opt, step_size=30, gamma=0.5)Annealing Kosinus
Jadwal kosinus menurunkan laju pembelajaran secara mulus mengikuti kurva menuju nol. Peluruhan yang lembut dan bertahap ini menjadi pilihan favorit untuk melatih jaringan modern.
sched = torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=100)Masalah Awal yang Dingin
Bobot yang baru dibuat masih rapuh. Laju pembelajaran penuh pada langkah pertama dapat membuat loss melonjak, terutama pada batch besar atau transformer yang dalam.
Warmup Memulai Secara Bertahap
Warmup menaikkan laju pembelajaran dari hampir nol selama beberapa ratus langkah pertama. Awal yang lembut ini menjaga kestabilan pelatihan sebelum mencapai kecepatan penuh.
Warmup Lalu Peluruhan
Pola klasiknya adalah warmup yang diikuti peluruhan: naikkan laju pembelajaran hingga nilai puncak, lalu turunkan mengikuti kurva kosinus. Pola ini menjadi pilihan utama untuk model besar.
Jalankan Penjadwal
Penjadwal tidak melakukan apa pun sampai Anda memanggil step() padanya, biasanya sekali setiap epoch tepat setelah pengoptimal memperbarui bobot.
opt.step()
sched.step()Pantau Laju Saat Ini
Catat laju pembelajaran yang sedang digunakan selama pelatihan. Melihatnya melakukan warmup dan peluruhan memastikan jadwal berjalan sesuai harapan serta membantu Anda menelusuri kesalahan.
print(sched.get_last_lr())Peluruhan Berdasarkan Plateau
Lebih suka bereaksi terhadap hasil? ReduceLROnPlateau menurunkan laju pembelajaran hanya ketika loss validasi berhenti membaik, tanpa memerlukan jadwal waktu tetap.
sched = torch.optim.lr_scheduler.ReduceLROnPlateau(opt)Jadwal Memberi Hasil Gratis
Jadwal yang baik sering meningkatkan akurasi akhir tanpa data tambahan sedikit pun. Warmup ditambah peluruhan kosinus adalah pilihan awal yang kuat dan aman.
Pemeriksaan Cepat
Pastikan Anda memahami tujuan warmup.
Ringkasan
Sebuah jadwal mengecilkan laju pembelajaran seiring waktu agar model dapat menetap dengan baik, sedangkan warmup menaikkannya terlebih dahulu untuk memulai secara stabil. Warmup ditambah kosinus adalah pilihan awal yang bagus. 📉
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Jadwal Laju Pembelajaran dan Warmup” gratis?
Ya — teks lengkap “Jadwal Laju Pembelajaran dan Warmup” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Deep Learning Academy, upgrade ke CoddyKit PRO. Kursus Deep Learning Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Jadwal Laju Pembelajaran dan Warmup”?
Strategi langkah, kosinus, dan warmup Kamu berlatih Deep Learning Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai Deep Learning Academy?
Tidak diperlukan pengalaman sebelumnya. Deep Learning Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.
Berapa lama pelajaran “Jadwal Laju Pembelajaran dan Warmup” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran Deep Learning Academy ini?
Ya. Setiap pelajaran Deep Learning Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- SGD dengan Momentum
- Adam dan AdamW Dijelaskan
- Peluruhan Bobot vs Regularisasi L2
- Jadwal Laju Pembelajaran dan Warmup