Bygge et feedforward-nettverk med nn.Module

nn.Module er PyTorchs basisklasse for alle komponenter i nevrale nettverk. Hvert lag, hver aktiveringsfunksjon, tapsfunksjon og komplette modell i PyTorch arver fra nn.Module. Klassen tilbyr administrasjon av parametere, flytting mellom enheter, serialisering og bytte mellom trenings- og evalueringsmodus som standard. Ved å arve fra klassen får De all denne funksjonaliteten gratis og trenger bare å definere arkitekturen og forward-passeringen.

For å opprette et tilpasset nettverk kreves to metoder. I __init__ kaller De super().__init__() og definerer alle lærbare lag som attributter. I forward beskriver De hvordan data flyter gjennom disse lagene. PyTorch sporer alle nn.Module- eller nn.Parameter-objekter som tilordnes til self, som trenbare komponenter. Når modellen kalles som en funksjon (model(x)), påkalles forward automatisk, og alle registrerte hooks kjøres.

nn.Linear(in_features, out_features) utfører transformasjonen y = x @ W.T + b, der W er en vektingsmatrise og b er en biasvektor. Laget initialiserer automatisk vektene med en kaiming-uniformfordeling og biasverdiene med en uniform fordeling. Det er en byggestein i feedforward-nettverk, også kalt fullt tilkoblede eller tette lag.

Aktiveringsfunksjoner tilfører ikke-linearitet, slik at nettverket kan lære komplekse mønstre som en stabel med lineære lag ikke kan representere. ReLU (max(0, x)) er standarden for skjulte lag — den er rask og motvirker forsvinnende gradienter. Sigmoid begrenser utdataene til [0, 1] og brukes for utdata ved binær klassifisering. Tanh begrenser utdataene til [-1, 1] og brukes ofte i RNN-er. Alle er tilgjengelige som moduler i nn.

nn.Sequential er en praktisk beholder som sender utdataene fra hver modul videre som inndata til den neste. Den egner seg godt for enkle feedforward-arkitekturer der data flyter lineært. For mer komplekse nettverk med hoppkoblinger, flere inndata eller forgrenede baner trenger De den fullstendige tilnærmingen med en underklasse av nn.Module. Sekvensielle nettverk kan likevel utvides ved å lage en underklasse og bruke Sequential som en delblokk.

En viktig feilsøkingsteknikk ved bygging av nettverk er å sende en dummy-tensor gjennom modellen før treningen starter. Dette bekrefter at dimensjonene til alle lag er kompatible, og avdekker umiddelbart formmismatcher. Dummy-tensoren har samme form som de virkelige dataene, men inneholder tilfeldige verdier — den tester bare forward-banen. Gjør alltid dette etter at De har definert en ny arkitektur.

Ved å kjenne det totale antallet trenbare parametere i en modell får De en forståelse av modellens kapasitet og minnekrav. model.parameters() returnerer en iterator over alle lærbare tensorer, mens model.named_parameters() kobler hver tensor til navnet sitt for inspeksjon. En kompakt parameterteller er et av de første verktøyene alle som arbeider med PyTorch, bygger.

Det er så enkelt som å kalle model.to(device) for å flytte modellen til GPU-en. Dette overfører alle parametere og buffere som er registrert i modulen, til målenheten. Etter dette kallet utføres alle beregninger i forward-passeringen automatisk på GPU-en — så lenge inndatatensorene også befinner seg på samme enhet. Hvis CPU- og GPU-tensorer blandes, oppstår en kjøretidsfeil.

Noen lag (Dropout, BatchNorm) oppfører seg forskjellig under trening og inferens. Når De kaller model.train(), aktiveres stokastisk atferd (tilfeldig dropout og batchstatistikk); model.eval() bytter til deterministisk inferensatferd. Hvis De glemmer å kalle model.eval() før evaluering, blir resultatene inkonsistente fordi Dropout tilfeldig setter aktiveringer til null. Koble alltid disse kallene sammen med torch.no_grad() under inferens for best mulig effektivitet.

La oss sette alt sammen: Et flerlagsperseptron (MLP) er et feedforward-nettverk med ett eller flere skjulte lag mellom inndataene og utdataene. Hvert skjult lag utfører en lineær transformasjon etterfulgt av en ikke-lineær aktivering. Aktiveringen i utgangslaget avhenger av oppgaven — ingen aktivering for regresjon, softmax for fl klasseklassifisering og sigmoid for binær klassifisering. Eksemplet nedenfor bygger et MLP med tre lag for klassifisering i 10 klasser.

Trening av nevrale nettverk er kostbart, så De bør lagre modellen etter treningen. PyTorchs konvensjon er å lagre bare state_dict — en ordbok med parametertensorer — i stedet for hele modellobjektet. Dette unngår at pickle er avhengig av klassedefinisjonen. For å gjenopprette modellen oppretter De en ny modellinstans med samme arkitektur og laster deretter inn tilstandsordboken med load_state_dict. Kall alltid model.eval() etter innlasting når modellen skal brukes til inferens.

I denne leksjonen lærte De at nn.Module er basisklassen for alle nevrale nettverk i PyTorch, og at __init__ brukes til å definere lag mens forward definerer dataflyten. De lærte også at nn.Sequential tilbyr en enkel beholder for lineære stabler av lag, og at model.train() / model.eval() endrer atferden til lag som Dropout og BatchNorm. Neste gang skriver vi den komplette treningsløkken, inkludert tap, optimerer og flere epoker.