Gradienter peger opad – så gå den anden vej

For at gå ned ad bakke skal du først vide, hvilken vej der går ned. Gradienten er værktøjet, der fortæller dig tabslandskabets hældning på dit aktuelle punkt.

Her kommer overraskelsen: gradienten peger i den retning, hvor tabet vokser hurtigst. Den viser den stejleste vej op, ikke ned.

Da gradienten peger opad, bevæger du dig i den modsatte retning for at gå ned. Når du trækker gradienten fra, bevæger du dig mod et lavere tab.

Denne ene linje er kernen i træningen. Du skalerer gradienten med en lille skridtstørrelse og trækker den derefter fra hver vægt. Gentag, og tabet falder.

Med mange vægte er gradienten en hel vektor: én hældning pr. vægt. Hver vægt justeres med sin egen del af denne vektor.

En stor gradientværdi betyder, at tabet er meget stejlt i den retning, så den pågældende vægt har brug for en større korrektion. Små værdier betyder, at terrænet næsten er fladt dér.

Helt nede i bunden af en dal bliver hældningen flad, og gradienten bliver nul. Når der ikke er noget at trække fra, holder vægtene op med at bevæge sig. Du har konvergeret.

Du når næsten aldrig bunden i ét spring. Hvert skridt forbedrer kun situationen en smule, så nedstigningen er en lang række små bevægelser ned ad bakke.

Den sti, du følger ved altid at bevæge dig langs den negative gradient, er den stejleste nedstigning. Det er den direkte genvej mod et lavere tab.

Subtraktion bevæger dig modsat stigningen, så tabet må falde, hvis skridtet er tilstrækkeligt lille. Dette enkle fortegnsskift er det, der omdanner en hældning til fremskridt.

Du kommer sjældent til at beregne disse hældninger i hånden. PyTorch's autograd finder gradienten for dig, men reglen er den samme: Træk den fra for at bevæge dig nedad.

Gradienten peger opad mod et højere tab, så du trækker en skaleret version af den fra for at gå nedad. Gentag denne opdatering, og modellen bevæger sig mod dalen. ⬇️