VGG: pile di filtri piccoli

VGG fece una scelta audace: usare ovunque solo convoluzioni 3x3 molto piccole e semplicemente impilarne molte.

Due layer 3x3 impilati vedono la stessa area di un unico layer 5x5, ma con meno parametri e una non linearità aggiuntiva tra loro.

Invece di usare layer molto ampi, VGG scelse di diventare profonda, raggiungendo 16 o 19 layer e imparando gerarchie di caratteristiche più ricche.

Ogni conv mantiene lo stesso padding e la stessa dimensione, quindi le forme sono facili da prevedere. Questa uniformità ha reso VGG semplice da replicare.

Dopo ogni blocco di conv, un max pool 2x2 dimezza la dimensione spaziale raddoppiando il numero di canali.

L'unità ripetuta è: conv, ReLU, conv, ReLU, pool. Colleghi questi blocchi e otterrà gran parte di VGG.

VGG termina con tre grandi layer densi. Contengono la maggior parte dei suoi pesi, motivo per cui il modello occupa così tanto spazio su disco.

Questa eleganza ha un prezzo: VGG è lenta e richiede molta memoria. Un design raffinato non significa necessariamente un modello economico da eseguire.

Ancora oggi, i primi layer di VGG producono eccellenti caratteristiche riutilizzabili per il transfer learning e lo style transfer.

Poiché lo schema si ripete, può generare VGG da un elenco di configurazione, usando un ciclo per aggiungere ogni layer in modo programmatico.

Il contributo di VGG è stato un principio chiaro: preferire molti filtri piccoli a pochi filtri grandi. Le reti moderne lo seguono ancora.

VGG ha dimostrato che la profondità costruita con semplici blocchi 3x3 è migliore di grandi filtri sofisticati. Semplice, ripetibile e influente. Ottimo lavoro!