Pooling-lag: Romlig nedsampling og invarians

Poolinglag reduserer de romlige dimensjonene til feature maps. Dermed reduseres beregnings- og minnebruken, samtidig som representasjonene blir mer kompakte. De introduserer også en viss grad av romlig invarians – små forskyvninger av et trekk i inndataene gir samme resultat etter pooling. Uten pooling (eller konvolusjoner med stride 2) ville de romlige dimensjonene vært konstante gjennom alle lagene, noe som ville gjort nettverket uoverkommelig kostbart for store bilder.

MaxPool2d deler feature mapet i inndataene inn i overlappingsfrie vinduer og tar maksimumsverdien i hvert vindu. Maksimumsverdien tilsvarer den sterkeste aktiveringen av filteret på en hvilken som helst posisjon i vinduet – den fanger opp om trekket finnes noe sted i området, uavhengig av den nøyaktige posisjonen. En 2x2-maks-pooling med stride 2 halverer høyden og bredden, slik at den totale romlige størrelsen reduseres 4 ganger.

AvgPool2d beregner gjennomsnittet av verdiene i hvert poolingvindu i stedet for maksimumsverdien. Gjennomsnittspooling jevner ut feature mapet og beholder informasjon fra alle aktiveringer, mens maks-pooling forkaster de svakere aktiveringene. Maks-pooling foretrekkes i klassifiseringsnettverk der tilstedeværelsen av et trekk er viktigere enn den gjennomsnittlige styrken. Gjennomsnittspooling brukes ofte til global pooling på slutten av et CNN for å slå sammen de romlige dimensjonene.

Global Average Pooling (GAP) slår sammen hele den romlige dimensjonen til én enkelt verdi per kanal ved å beregne gjennomsnittet av alle romlige posisjoner. For et feature map med formen (B, C, H, W) gir GAP formen (B, C) – en vektor med C verdier som representerer gjennomsnittsaktiveringen til hvert filter over hele bildet. GAP erstatter flatten + store fullt tilkoblede lag øverst i klassiske CNN-er (VGG), reduserer antallet parametere betydelig og fungerer som en effektiv regularisator. Det brukes i ResNet, MobileNet og EfficientNet.

Det er enkelt å beregne de romlige utdatadimensjonene etter pooling: output_size = floor((input_size - kernel_size) / stride) + 1. For en 2x2-pooling med stride 2 på en inndata på 28x28 blir resultatet 14x14. Feilberegning av dimensjoner er en vanlig kilde til formfeil. AdaptiveMaxPool2d og AdaptiveAvgPool2d løser dette ved å ta imot ønsket utdatastørrelse direkte og automatisk beregne nødvendig kernel og stride – ideelt når du ønsker en fast utdata uavhengig av inndatastørrelsen.

Pooling gir lokal translasjonsinvarians: Hvis et trekk forskyves noen få piksler, ligger det sannsynligvis fortsatt i samme poolingvindu og gir samme maksimumsaktivering. Det betyr at nettverket gjenkjenner en katt enten den er litt til venstre eller høyre i bildet. Pooling er imidlertid bare lokalt invariant – store forskyvninger gir fortsatt andre resultater. Dataforstørring (tilfeldige utsnitt og speilvendinger) er nødvendig for å oppnå global translasjonsinvarians.

Moderne CNN-arkitekturer (ResNet, EfficientNet) bruker i økende grad konvolusjoner med stride 2 i stedet for separate maks-poolinglag. Fordelen er at konvolusjoner med stride 2 er lærbare – nettverket bestemmer selv hvordan nedsamplingen skal utføres, og kan dermed bevare mer nyttig informasjon enn den faste maks-operasjonen. Maks-pooling brukes fortsatt i klassiske arkitekturer (VGGNet, AlexNet) og fordi det er beregningsmessig enkelt. Begge metodene oppnår samme mål: å redusere den romlige oppløsningen med en faktor på 2.

En viktig egenskap ved poolinglag er at de ikke har lærbare parametere. Maks-pooling velger ganske enkelt maksimumsverdien, mens gjennomsnittspooling beregner gjennomsnittet. Dette gjør poolinglag svært raske og uten parametere – de bidrar ikke til det totale antallet parametere. Mangelen på parametere betyr også at pooling ikke kan overtilpasse. Derfor er global gjennomsnittspooling på slutten av et nettverk en effektiv regularisator – den tvinger nettverket til å kode informasjon i gjennomsnittet for hver kanal, ikke i romlige posisjoner.

En standard CNN-arkitektur veksler mellom konvolusjonsblokker (Conv+BN+ReLU) og poolinglag, og reduserer gradvis de romlige dimensjonene samtidig som antallet kanaler økes. Etter konvolusjonsblokkene slår global gjennomsnittspooling sammen de romlige dimensjonene, og et lineært lag mapper til klasseskårer. Dette mønsteret gir et nettverk med et håndterbart antall parametere, god generalisering og sterk ytelse i bildeklassifisering.

AdaptiveMaxPool2d(output_size) beregner automatisk kernel-størrelsen og stride-verdien som trengs for å produsere de angitte utdatadimensjonene, uavhengig av inndatastørrelsen. Dette er svært nyttig når du ønsker en vektor med fast størrelse for klassifikatoren, men inndatabildene har varierende størrelser (for eksempel ved objektdeteksjon eller datasett med variabel oppløsning). FractionalMaxPool2d bruker randomiserte poolingområder for å tilføre stokastisitet og fungerer som en ekstra regularisator i enkelte arkitekturer.

For å forstå hva pooling gjør visuelt: Et feature map før maks-pooling viser filterresponsen på hver piksel. Etter pooling er utdataene grovere romlig – hver verdi representerer den sterkeste responsen i nærområdet. Feature mapet blir mer abstrakt og mindre avhengig av posisjon. Dypt inne i et nettverk, etter mange runder med pooling, dekker hvert nevron sitt reseptive felt det meste av det opprinnelige bildet, noe som muliggjør global mønstergjenkjenning.

I denne leksjonen lærte du at: MaxPool2d og AvgPool2d reduserer de romlige dimensjonene ved å ta maksimumsverdien eller gjennomsnittet i hvert poolingvindu, noe som gir kompakte representasjoner og lokal translasjonsinvarians, at AdaptiveAvgPool2d produserer en fast utdatastørrelse uavhengig av inndatadimensjonene (og brukes som global gjennomsnittspooling), og at pooling ikke har lærbare parametere, noe som gjør den rask og immun mot overtilpasning. Neste tema er å bygge og trene et komplett CNN på CIFAR-10.