VGG: stosy małych filtrów

VGG postawiła na odważny pomysł: wszędzie używać wyłącznie małych konwolucji 3x3 i po prostu układać ich wiele jedna na drugiej.

Dwie ułożone jedna na drugiej warstwy 3x3 widzą ten sam obszar co jedna warstwa 5x5, ale wymagają mniej parametrów i zapewniają dodatkową nieliniowość pomiędzy nimi.

Zamiast szerokich warstw VGG postawiła na dużą głębokość, osiągając 16 lub 19 warstw i ucząc się bogatszych hierarchii cech.

Każda warstwa konwolucyjna zachowuje to samo dopełnienie i rozmiar, dzięki czemu łatwo przewidywać kształty danych. Ta jednolitość ułatwiła odtwarzanie sieci VGG.

Po każdym bloku konwolucji pooling maksymalny max pool 2x2 zmniejsza rozmiar przestrzenny o połowę, jednocześnie podwajając liczbę kanałów.

Powtarzająca się jednostka składa się z: konwolucji, ReLU, konwolucji, ReLU i poolingu. Połącz te bloki, a otrzymasz większość sieci VGG.

Sieć VGG kończy się trzema dużymi warstwami gęstymi. Zawierają one większość jej wag, dlatego model zajmuje tak dużo miejsca na dysku.

Ta elegancja ma swoją cenę: VGG działa wolno i wymaga dużo pamięci. Piękny projekt nie oznaczał taniego uruchamiania.

Nawet dziś wczesne warstwy VGG tworzą doskonałe, wielokrotnego użytku cechy do uczenia transferowego i transferu stylu.

Ponieważ wzorzec się powtarza, można wygenerować sieć VGG na podstawie listy konfiguracji, używając pętli do programowego dodawania każdej warstwy.

Dziedzictwem VGG jest jasna zasada: należy preferować wiele małych filtrów zamiast kilku dużych. Współczesne sieci nadal się jej trzymają.

VGG udowodniła, że głębokość zbudowana z prostych bloków 3x3 przewyższa sprytne, duże filtry. Prosto, powtarzalnie i z dużym wpływem na rozwój dziedziny. Dobra robota!