Poolningslager: Spatial nedsampling och invarians

Poolinglager minskar feature maps spatiala dimensioner, vilket minskar beräkning och minnesanvändning samtidigt som representationerna blir mer kompakta. De introducerar också en grad av spatial invarians — små förflyttningar av ett särdrag i indata ger samma poolade utdata. Utan pooling (eller konvolutioner med stride 2) skulle de spatiala dimensionerna förbli konstanta genom alla lager, vilket skulle göra nätverket orimligt beräkningskrävande för stora bilder.

MaxPool2d delar upp inputens feature map i överlappningsfria fönster och tar det största värdet i varje fönster. Maximumvärdet motsvarar filteraktiveringen med högst styrka på någon position i fönstret — det fångar om särdraget förekom någonstans i området, oavsett exakt position. En 2x2-maxpooling med stride 2 halverar höjd och bredd och minskar den totala spatiala storleken fyra gånger.

AvgPool2d beräknar medelvärdet av värdena i varje poolingfönster i stället för maximumvärdet. Average pooling jämnar ut feature map och bevarar information från alla aktiveringar, medan max pooling kastar bort de svagare aktiveringarna. Max pooling föredras i klassificeringsnätverk där förekomsten av ett särdrag är viktigare än dess genomsnittliga styrka. Average pooling används ofta för global pooling i slutet av ett CNN för att reducera de spatiala dimensionerna.

Global Average Pooling (GAP) reducerar hela den spatiala dimensionen till ett enda värde per kanal genom att beräkna medelvärdet över alla spatiala positioner. För en feature map med formen (B, C, H, W) ger GAP (B, C) — en vektor med C värden som representerar den genomsnittliga aktiveringen för varje filter över hela bilden. GAP ersätter flatten + stora fullständigt anslutna lager högst upp i klassiska CNN:er (VGG), minskar antalet parametrar drastiskt och fungerar som en kraftfull regulariserare. Det används i ResNet, MobileNet och EfficientNet.

Det är enkelt att beräkna de spatiala utdimensionerna efter pooling: output_size = floor((input_size - kernel_size) / stride) + 1. För en 2x2-pooling med stride 2 på en indata med storleken 28x28 blir utdata 14x14. Felbedömning av dimensioner är en vanlig källa till shape-fel. AdaptiveMaxPool2d och AdaptiveAvgPool2d löser detta genom att ta emot önskad utdimension direkt och automatiskt beräkna nödvändigt kernel och stride — idealiskt när Ni vill ha en fast utstorlek oavsett indatans storlek.

Pooling ger lokal translationsinvarians: om ett särdrag förflyttas några pixlar hamnar det sannolikt fortfarande i samma poolingfönster och ger samma maximumaktivering. Det innebär att nätverket känner igen en katt oavsett om den befinner sig något till vänster eller höger i bilden. Pooling är dock bara lokalt invariant — stora förflyttningar ger fortfarande andra utdata. Dataaugmentering (slumpmässiga beskärningar och speglingar) behövs för att uppnå global translationsinvarians.

Moderna CNN-arkitekturer (ResNet, EfficientNet) använder i allt högre grad konvolutioner med stride 2 i stället för separata maxpoolinglager. Fördelen är att konvolutioner med stride 2 är lärbara — nätverket avgör hur nedsamplingen ska göras och kan därmed bevara mer användbar information än den fasta maxoperationen. Max pooling används fortfarande i klassiska arkitekturer (VGGNet, AlexNet) och på grund av sin beräkningsmässiga enkelhet. Båda metoderna uppnår samma mål: att minska den spatiala upplösningen med en faktor 2.

En viktig egenskap hos poolinglager är att de inte har några lärbara parametrar. Max pooling väljer helt enkelt maximumvärdet, medan average pooling beräknar medelvärdet. Det gör poolinglager mycket snabba och minnessnåla — de bidrar inte till antalet parametrar. Avsaknaden av parametrar innebär också att pooling inte kan överanpassa. Därför är global average pooling i slutet av ett nätverk en kraftfull regulariserare — den tvingar nätverket att koda information i varje kanals medelvärde, inte i spatiala positioner.

En standardarkitektur för CNN växlar mellan konvolutionsblock (Conv+BN+ReLU) och poolinglager, och minskar gradvis de spatiala dimensionerna samtidigt som antalet kanaler ökar. Efter konvolutionsblocken reducerar global average pooling de spatiala dimensionerna, och ett linjärt lager mappar till klasspoäng. Detta mönster ger ett nätverk med hanterbart antal parametrar, god generalisering och stark prestanda vid bildklassificering.

AdaptiveMaxPool2d(output_size) beräknar automatiskt den kernelstorlek och det stride som behövs för att skapa de angivna utdimensionerna, oavsett indatans storlek. Detta är ovärderligt när Ni vill ha en vektor med fast storlek för klassificeraren men indatabilderna har varierande storlek (till exempel vid objektdetektering och datamängder med varierande upplösning). FractionalMaxPool2d använder slumpmässiga poolingområden för att tillföra stokasticitet och fungerar i vissa arkitekturer som ytterligare en regulariserare.

För att visuellt förstå vad pooling gör: en feature map före max pooling visar filtrets råa respons vid varje pixel. Efter pooling är utdata spatialt grövre — varje värde representerar den starkaste responsen i sitt närområde. Feature map blir mer abstrakt och mindre beroende av position. Djupt inne i ett nätverk, efter många poolingssteg, täcker varje neurons receptiva fält större delen av den ursprungliga bilden, vilket möjliggör global mönsterigenkänning.

I den här lektionen lärde Ni Er att MaxPool2d och AvgPool2d minskar de spatiala dimensionerna genom att ta maximumvärdet eller medelvärdet i varje poolingfönster, vilket ger kompakta representationer och lokal translationsinvarians, att AdaptiveAvgPool2d skapar en fast utdimension oavsett indatans dimensioner (och används som Global Average Pooling), samt att pooling inte har några lärbara parametrar, vilket gör den snabb och fri från överanpassning. Härnäst bygger och tränar vi ett komplett CNN på CIFAR-10.