Wywołać backward(), aby uzyskać gradienty

Po zbudowaniu grafu jedno wywołanie wykonuje całe różniczkowanie. Uruchom backward() na wyniku, a gradienty przepłyną do każdego wejścia.

Wywołują Państwo backward na końcowej liczbie, którą chcą Państwo zminimalizować, zwykle na loss. Musi to być pojedynczy skalar, aby autograd wiedział, od czego zacząć.

Po wykonaniu backward w każdym tensorze liściowym .grad przechowuje pochodną wyniku względem tego tensora. Obliczenia są już zakończone.

Dla y równego x do kwadratu rachunek różniczkowy mówi, że pochodna wynosi 2x. Gdy x jest równe 2, wynik to 4, a PyTorch wpisuje do x.grad dokładnie 4.0.

backward() przechodzi przez graf od wyniku do danych wejściowych, stosując regułę łańcuchową w każdym węźle. Napisali Państwo tylko obliczenia forward, a całą resztę otrzymali Państwo automatycznie.

Jeśli wynik zależy od kilku śledzonych tensorów, jedno wywołanie backward wypełni wartość .grad każdego z nich jednocześnie. Tak aktualizuje się całe modele.

Domyślnie graf jest zwalniany po backward, aby oszczędzać pamięć, dlatego ponowne wywołanie powoduje błąd. Przy następnym przejściu w przód tworzony jest nowy graf.

Potrzebują Państwo ponownie wywołać backward na tym samym grafie? Proszę przekazać retain_graph równe true. Zwykle nie jest to potrzebne, więc należy tego unikać, chyba że błąd wyraźnie tego wymaga.

Jeśli wynikiem jest wektor, backward wymaga argumentu gradient, który określa wagę każdego elementu. Najczęściej zamiast tego sumuje się wynik do skalara.

To pojedyncze wywołanie backward to słynne przejście wsteczne podczas trenowania. Forward oblicza predykcje, a backward oblicza, jak skorygować wagi.

Liczby w .grad wskazują każdej wadze, w którą stronę powinna się przesunąć. Optymalizator odczytuje je i lekko przesuwa wagi, aby nieco zmniejszyć loss.

Wywołaj backward() na skalarnej wartości loss, a autograd zastosuje regułę łańcuchową w całym grafie, wypełniając .grad każdego tensora jego pochodną. To właśnie przejście wsteczne. 🔁