0Pricing
Deep Learning Academy · Pelajaran

Lakukan Backprop pada Jaringan Kecil Secara Manual

Hitung gradien di kertas, lalu konfirmasikan dalam kode

Lakukan Backprop pada Jaringan Kecil Secara Manual adalah pelajaran Deep Learning Academy gratis di CoddyKit. Ini adalah pelajaran 3 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Deep Learning Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Deep Learning Academy mencakup 4 pelajaran total.

Bagian dari pelajaran ini belum diterjemahkan dan ditampilkan dalam bahasa Inggris.

Our Tiny Network

Let's hand-trace the smallest net: one input x, one weight w, no bias. The output is simply y = w times x. Tiny enough to do on paper.

y = w * x

Add a Simple Loss

We compare the output to a target t with squared error. This loss punishes being far from the target and is easy to differentiate by hand.

loss = (y - t) ** 2

Forward With Numbers

Plug in x = 2, w = 3, t = 10. Forward gives y = 6 and loss = (6 - 10) squared = 16. Now we walk backward to find dloss/dw.

Step One: Loss to Output

First link: how does loss change with y? The derivative of (y - t) squared is 2(y - t), which here is 2 times (6 - 10) = -8.

dloss_dy = 2 * (y - t)

Step Two: Output to Weight

Second link: how does y change with w? Since y = w times x, dy/dw is just x, which is 2 in our example.

dy_dw = x

Chain the Two Together

The chain rule multiplies the links: dloss/dw = dloss/dy times dy/dw = -8 times 2 = -16. That single number is our gradient.

dloss_dw = dloss_dy * dy_dw

Read the Gradient's Sign

A negative gradient means increasing w would lower the loss. So we should nudge w upward to do better next time.

Take One Update Step

With a learning rate of 0.1, the update is w = w - 0.1 times (-16) = 3 + 1.6 = 4.6. The weight moved toward a better value.

w = w - lr * dloss_dw

Confirm It Improved

Redo the forward pass with w = 4.6: y = 9.2 and loss = (9.2 - 10) squared = 0.64. Far below 16, so the step truly helped.

Check It in PyTorch

PyTorch gets the same gradient automatically. Set requires_grad on w, run forward, call backward, and read w.grad to see -16.

w = torch.tensor(3.0, requires_grad=True)
loss = (w * 2 - 10) ** 2
loss.backward()
print(w.grad)

Same Steps, Bigger Nets

A million-weight net does exactly this, just with more links chained together. The math you did by hand scales straight up.

Quick Check

Let's check your hand trace.

Recap

You traced a tiny net: forward for values, then backward multiplying local derivatives to get the gradient, then one step that lowered the loss. ✏️

Pertanyaan yang Sering Diajukan

Apakah pelajaran “Lakukan Backprop pada Jaringan Kecil Secara Manual” gratis?

Ya — teks lengkap “Lakukan Backprop pada Jaringan Kecil Secara Manual” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Deep Learning Academy, upgrade ke CoddyKit PRO. Kursus Deep Learning Academy mencakup 4 pelajaran total.

Apa yang akan aku pelajari di “Lakukan Backprop pada Jaringan Kecil Secara Manual”?

Hitung gradien di kertas, lalu konfirmasikan dalam kode Kamu berlatih Deep Learning Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.

Apakah aku perlu pengalaman untuk memulai Deep Learning Academy?

Tidak diperlukan pengalaman sebelumnya. Deep Learning Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 3 dari 4.

Berapa lama pelajaran “Lakukan Backprop pada Jaringan Kecil Secara Manual” memakan waktu?

Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.

Bisakah aku menulis dan menjalankan kode dalam pelajaran Deep Learning Academy ini?

Ya. Setiap pelajaran Deep Learning Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.

Semua pelajaran dalam kursus ini

  1. Aturan Rantai, Lapisan demi Lapisan
  2. Lintasan Maju Menyimpan, Lintasan Mundur Menggunakan Kembali
  3. Lakukan Backprop pada Jaringan Kecil Secara Manual
  4. Gradien yang Menghilang dan Meledak
← Kembali ke Deep Learning Academy