Frys backbone, og træn head

Hvorfor træne fra bunden? En model, der allerede er trænet på millioner af billeder, har lært nyttige egenskaber. Transferlæring genbruger denne viden til din opgave. 🧠

En forudtrænet model har to dele: grundmodellen, der udtrækker generelle egenskaber, og hovedet, der laver den endelige forudsigelse for den oprindelige opgave.

Den enkleste opskrift: fastfrys grundmodellen, så den forbliver uændret, udskift derefter hovedet med et nyt, og træn kun den del på dine egne mærkater.

Start med en model, der allerede har gode vægte. torchvision giver dig populære arkitekturer med ét kald.

For at fastfryse et lag sætter du requires_grad til False. PyTorch springer derefter beregningen af gradienter for laget over, så dets vægte aldrig ændres.

Fastfrysning af grundmodellen bevarer de møjsommeligt lærte egenskaber og betyder, at langt færre vægte skal opdateres. Det gør træningen hurtigere og fungerer med få data.

Det gamle hoved forudsiger de forkerte klasser. Erstat det med et nyt Linear-lag, der er dimensioneret efter antallet af klasser.

Et helt nyt lag starter automatisk med requires_grad sat til True. Derfor er det kun dit hoved, der lærer, mens den fastfrosne grundmodel ser på.

Giv kun hovedets parametre til din optimizer. Det er opdateringen af disse få vægte, der gør denne metode så billig.

Med fastfrosne vægte omdanner grundmodellen blot hvert billede til en fyldig egenskabsvektor. Dit hoved lærer at aflæse disse egenskaber.

Fastfrysning og træning af hovedet er ideelt med et lille datasæt eller begrænsede beregningsressourcer. Du får gode resultater på minutter i stedet for dage.

Du lærte at låne en forudtrænet grundmodel, fastfryse den, tilknytte et nyt hoved og kun træne dette hoved. Hurtigt, billigt og effektivt med få data. 🎯