Выполните обратное распространение в маленькой сети вручную
Вычислите градиенты на бумаге и подтвердите результат кодом
«Выполните обратное распространение в маленькой сети вручную» — бесплатный урок Deep Learning Academy на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Deep Learning Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Deep Learning Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
Our Tiny Network
Let's hand-trace the smallest net: one input x, one weight w, no bias. The output is simply y = w times x. Tiny enough to do on paper.
y = w * xAdd a Simple Loss
We compare the output to a target t with squared error. This loss punishes being far from the target and is easy to differentiate by hand.
loss = (y - t) ** 2Forward With Numbers
Plug in x = 2, w = 3, t = 10. Forward gives y = 6 and loss = (6 - 10) squared = 16. Now we walk backward to find dloss/dw.
Step One: Loss to Output
First link: how does loss change with y? The derivative of (y - t) squared is 2(y - t), which here is 2 times (6 - 10) = -8.
dloss_dy = 2 * (y - t)Step Two: Output to Weight
Second link: how does y change with w? Since y = w times x, dy/dw is just x, which is 2 in our example.
dy_dw = xChain the Two Together
The chain rule multiplies the links: dloss/dw = dloss/dy times dy/dw = -8 times 2 = -16. That single number is our gradient.
dloss_dw = dloss_dy * dy_dwRead the Gradient's Sign
A negative gradient means increasing w would lower the loss. So we should nudge w upward to do better next time.
Take One Update Step
With a learning rate of 0.1, the update is w = w - 0.1 times (-16) = 3 + 1.6 = 4.6. The weight moved toward a better value.
w = w - lr * dloss_dwConfirm It Improved
Redo the forward pass with w = 4.6: y = 9.2 and loss = (9.2 - 10) squared = 0.64. Far below 16, so the step truly helped.
Check It in PyTorch
PyTorch gets the same gradient automatically. Set requires_grad on w, run forward, call backward, and read w.grad to see -16.
w = torch.tensor(3.0, requires_grad=True)
loss = (w * 2 - 10) ** 2
loss.backward()
print(w.grad)Same Steps, Bigger Nets
A million-weight net does exactly this, just with more links chained together. The math you did by hand scales straight up.
Quick Check
Let's check your hand trace.
Recap
You traced a tiny net: forward for values, then backward multiplying local derivatives to get the gradient, then one step that lowered the loss. ✏️
Часто задаваемые вопросы
Урок «Выполните обратное распространение в маленькой сети вручную» бесплатный?
Да — полный текст урока «Выполните обратное распространение в маленькой сети вручную» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Deep Learning Academy, подпишись на CoddyKit PRO. Курс Deep Learning Academy содержит 4 уроков всего.
Чему я научусь в уроке «Выполните обратное распространение в маленькой сети вручную»?
Вычислите градиенты на бумаге и подтвердите результат кодом Ты практикуешь Deep Learning Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать Deep Learning Academy?
Предыдущий опыт не требуется. Deep Learning Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.
Сколько времени занимает урок «Выполните обратное распространение в маленькой сети вручную»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке Deep Learning Academy?
Да. Каждый урок Deep Learning Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Правило цепочки, слой за слоем
- Кэширование при прямом проходе и повторное использование при обратном
- Выполните обратное распространение в маленькой сети вручную
- Затухающие и взрывающиеся градиенты