Layer di pooling: downsampling spaziale e invarianza

I layer di pooling riducono le dimensioni spaziali delle mappe delle caratteristiche, diminuendo il costo computazionale e l'uso di memoria e rendendo le rappresentazioni più compatte. Introducono inoltre un certo grado di invarianza spaziale: piccole traslazioni di una caratteristica nell'input producono lo stesso output del pooling. Senza il pooling (o convoluzioni con stride 2), le dimensioni spaziali rimarrebbero costanti in tutti i layer, rendendo la rete proibitiva dal punto di vista computazionale per le immagini di grandi dimensioni.

MaxPool2d divide la mappa delle caratteristiche di input in finestre non sovrapposte e seleziona il valore massimo in ciascuna finestra. Il massimo corrisponde all'attivazione più forte del filtro in una qualsiasi posizione della finestra: indica se la caratteristica era presente in un punto qualsiasi della regione, indipendentemente dalla sua posizione esatta. Un max pooling 2x2 con stride 2 dimezza altezza e larghezza, riducendo di 4 volte la dimensione spaziale complessiva.

AvgPool2d calcola la media dei valori in ciascuna finestra di pooling invece del massimo. L'average pooling rende più uniforme la mappa delle caratteristiche e conserva le informazioni di tutte le attivazioni, mentre il max pooling scarta le attivazioni più deboli. Il max pooling è preferito nelle reti di classificazione, dove conta più la presenza di una caratteristica che la sua intensità media. L'average pooling viene comunemente utilizzato per il global pooling alla fine di una CNN, per ridurre le dimensioni spaziali.

Global Average Pooling (GAP) riduce l'intera dimensione spaziale a un singolo valore per canale, calcolando la media di tutte le posizioni spaziali. Per una mappa delle caratteristiche di forma (B, C, H, W), GAP produce (B, C): un vettore di C valori che rappresentano l'attivazione media di ciascun filtro sull'intera immagine. GAP sostituisce l'operazione di flatten e i grandi layer completamente connessi nella parte superiore delle CNN classiche (VGG), riducendo drasticamente il numero di parametri e agendo come un potente regolarizzatore. Viene utilizzato in ResNet, MobileNet ed EfficientNet.

Calcolare le dimensioni spaziali dell'output dopo il pooling è semplice: output_size = floor((input_size - kernel_size) / stride) + 1. Per un pooling 2x2 con stride 2 su un input 28x28, l'output è 14x14. Una valutazione errata delle dimensioni è una causa comune degli errori di shape. AdaptiveMaxPool2d e AdaptiveAvgPool2d risolvono questo problema accettando direttamente la dimensione dell'output desiderata e calcolando automaticamente kernel e stride necessari: sono ideali quando si desidera un output fisso indipendentemente dalla dimensione dell'input.

Il pooling fornisce invarianza locale alle traslazioni: se una caratteristica si sposta di alcuni pixel, probabilmente rimane nella stessa finestra di pooling e produce la stessa attivazione massima. In questo modo la rete riconosce un gatto sia che si trovi leggermente più a sinistra sia che si trovi leggermente più a destra nell'immagine. Tuttavia, il pooling è invariante solo localmente: traslazioni ampie producono comunque output diversi. Per ottenere l'invarianza globale alle traslazioni è necessario applicare l'aumento dei dati (ritagli e ribaltamenti casuali).

Le architetture CNN moderne (ResNet, EfficientNet) utilizzano sempre più spesso convoluzioni con stride 2 invece di layer separati di max pooling. Il vantaggio è che le convoluzioni con stride 2 sono apprendibili: la rete decide come effettuare il sottocampionamento e può conservare più informazioni utili rispetto all'operazione max fissa. Il max pooling viene ancora utilizzato nelle architetture classiche (VGGNet, AlexNet) e per la sua semplicità computazionale. Entrambi gli approcci raggiungono lo stesso obiettivo: ridurre di 2 volte la risoluzione spaziale.

Una proprietà importante dei layer di pooling è che non hanno parametri apprendibili. Il max pooling seleziona semplicemente il valore massimo, mentre l'average pooling calcola la media. Questo rende i layer di pooling molto veloci e privi di parametri in memoria: non contribuiscono al conteggio dei parametri. L'assenza di parametri significa inoltre che il pooling non può causare overfitting. Per questo il global average pooling alla fine di una rete è un potente regolarizzatore: costringe la rete a codificare le informazioni nella media di ciascun canale, non nelle posizioni spaziali.

Un'architettura CNN standard alterna blocchi convoluzionali (Conv+BN+ReLU) e layer di pooling, riducendo progressivamente le dimensioni spaziali e aumentando al contempo il numero di canali. Dopo i blocchi convoluzionali, il global average pooling riduce le dimensioni spaziali e un layer lineare mappa l'output nei punteggi delle classi. Questo schema produce una rete con un numero gestibile di parametri, una buona capacità di generalizzazione e prestazioni elevate nella classificazione delle immagini.

AdaptiveMaxPool2d(output_size) calcola automaticamente la dimensione del kernel e lo stride necessari per produrre le dimensioni di output specificate, indipendentemente dalla dimensione dell'input. È prezioso quando si desidera un vettore di dimensione fissa per il classificatore, ma le immagini di input hanno dimensioni variabili (ad esempio nel rilevamento degli oggetti o con dataset a risoluzione variabile). FractionalMaxPool2d utilizza regioni di pooling randomizzate per introdurre stocasticità, agendo come ulteriore regolarizzatore in alcune architetture.

Per comprendere visivamente il funzionamento del pooling: una mappa delle caratteristiche prima del max pooling mostra la risposta grezza del filtro in ogni pixel. Dopo il pooling, l'output è spazialmente più grossolano: ogni valore rappresenta la risposta più forte nel suo intorno. La mappa delle caratteristiche diventa più astratta e indipendente dalla posizione. In profondità nella rete, dopo numerose operazioni di pooling, il campo recettivo di ciascun neurone copre gran parte dell'immagine originale, consentendo il riconoscimento di pattern globali.

In questa lezione ha imparato che: MaxPool2d e AvgPool2d riducono le dimensioni spaziali selezionando il massimo o la media in ciascuna finestra di pooling, fornendo rappresentazioni compatte e invarianza locale alle traslazioni; AdaptiveAvgPool2d produce una dimensione di output fissa indipendentemente dalle dimensioni dell'input (e viene utilizzato come Global Average Pooling); e il pooling non ha parametri apprendibili, quindi è veloce e non causa overfitting. Ora costruiremo e addestreremo una CNN completa su CIFAR-10.