requires_grad en de computation graph

Voor het trainen heb je afgeleiden nodig, maar je berekent ze nooit met de hand. PyTorch's autograd volgt je berekeningen en bepaalt elke gradiënt voor je. 🤖

Een tensor krijgt pas gradiënten als je daarom vraagt. Zet requires_grad op true en PyTorch begint elke bewerking die erop wordt uitgevoerd vast te leggen.

Elke rekenstap op een gevolgde tensor wordt als een knooppunt vastgelegd. Samen vormen deze knooppunten een rekeningsgrafiek die beschrijft hoe je resultaat is opgebouwd.

Zie de grafiek als een recept: invoer bovenaan, bewerkingen in het midden en je uiteindelijke verlies onderaan. Autograd leest de grafiek achterwaarts om gradiënten te vinden.

PyTorch gebruikt een dynamische grafiek: die wordt gemaakt terwijl je code wordt uitgevoerd, niet vooraf. Gewone Python-lussen en if-instructies werken er gewoon in.

Elke tensor die uit een gevolgde tensor wordt gemaakt, wordt ook gevolgd. Hier onthoudt y dat deze uit x kwam, dus wijst zijn grad_fn terug naar die kwadrateerbewerking.

Tensors die je rechtstreeks maakt, zijn bladknooppunten. Tensors die door bewerkingen ontstaan, zijn binnenste knooppunten die terugwijzen naar die bladeren.

Elke berekende tensor bevat een grad_fn die autograd vertelt welke bewerking de tensor heeft gemaakt, zoals PowBackward of AddBackward. Bladknooppunten hebben geen grad_fn.

Als een tensor requires_grad false heeft, negeert autograd deze en wordt er geen grafiek opgebouwd. Dat bespaart geheugen wanneer je geen gradiënten nodig hebt.

De grafiek maakt de achterwaartse doorgang mogelijk. Zonder deze vastgelegde geschiedenis zou PyTorch niet kunnen weten hoe het verlies van elk gewicht afhangt.

Het mooie is dat je alleen de forward-berekening codeert. Autograd stelt op de achtergrond de grafiek samen, zodat de gradiënten klaarstaan zodra je erom vraagt.

Stel requires_grad in en PyTorch legt je berekeningen vast in een rekeningsgrafiek. Die vastgelegde geschiedenis leest autograd later achterwaarts om elke gradiënt te vinden. ✨