Lintasan Maju Menyimpan, Lintasan Mundur Menggunakan Kembali
Mengapa aktivasi disimpan selama lintasan maju
Lintasan Maju Menyimpan, Lintasan Mundur Menggunakan Kembali adalah pelajaran Deep Learning Academy gratis di CoddyKit. Ini adalah pelajaran 2 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Deep Learning Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Deep Learning Academy mencakup 4 pelajaran total.
Bagian dari pelajaran ini belum diterjemahkan dan ditampilkan dalam bahasa Inggris.
Two Passes, One Goal
Training each batch runs two passes: a forward pass to predict and compute loss, then a backward pass to compute gradients. They work as a pair.
The Forward Pass Computes Values
Going forward, each layer turns its input into an output and sends it onward. By the end you have a prediction and a single loss number.
Backward Needs Forward Values
To compute a layer's gradient, the chain rule needs the very activations that layer produced going forward. Those values are not optional.
So We Cache Them
During the forward pass the network quietly caches each layer's inputs and outputs in memory, ready for the backward pass to grab. 💾
A Concrete Example
The derivative of a layer often reuses its own output. For a sigmoid, the gradient depends on the saved output value, so caching it saves recomputation.
sigmoid_grad = saved_output * (1 - saved_output)Backward Reuses the Cache
The backward pass walks layers in reverse, and at each one it pulls the matching cached values to multiply into the gradient. Nothing is recomputed.
Cache Costs Memory
Storing every activation is why training a deep net uses far more memory than just running it for predictions. Bigger nets need bigger caches.
Inference Skips the Cache
When you only need predictions, there is no backward pass, so PyTorch skips the cache entirely. That is why inference is lighter on memory.
with torch.no_grad():
preds = model(x)PyTorch Does This for You
Every operation on a tensor with requires_grad records what it needs into the computation graph, building the cache automatically as you go.
One Backward Frees It
By default, calling backward() consumes the cached graph and frees it. That is why a second backward() on the same graph raises an error.
loss.backward()Why This Design Wins
Caching forward values means each gradient is one cheap lookup-and-multiply instead of a fresh recomputation, making backprop fast and exact.
Quick Check
Let's check the cache idea.
Recap
The forward pass caches activations, and the backward pass reuses them to build gradients. That trade of memory for speed is what makes backprop practical. 💾
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Lintasan Maju Menyimpan, Lintasan Mundur Menggunakan Kembali” gratis?
Ya — teks lengkap “Lintasan Maju Menyimpan, Lintasan Mundur Menggunakan Kembali” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Deep Learning Academy, upgrade ke CoddyKit PRO. Kursus Deep Learning Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Lintasan Maju Menyimpan, Lintasan Mundur Menggunakan Kembali”?
Mengapa aktivasi disimpan selama lintasan maju Kamu berlatih Deep Learning Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai Deep Learning Academy?
Tidak diperlukan pengalaman sebelumnya. Deep Learning Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 2 dari 4.
Berapa lama pelajaran “Lintasan Maju Menyimpan, Lintasan Mundur Menggunakan Kembali” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran Deep Learning Academy ini?
Ya. Setiap pelajaran Deep Learning Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Aturan Rantai, Lapisan demi Lapisan
- Lintasan Maju Menyimpan, Lintasan Mundur Menggunakan Kembali
- Lakukan Backprop pada Jaringan Kecil Secara Manual
- Gradien yang Menghilang dan Meledak