Convolutie en filters: randen en patronen detecteren

Convolutie is een wiskundige bewerking waarbij een kleine matrix, een filter (of kernel), over een invoer (bijvoorbeeld een afbeelding) schuift en op elke positie een elementsgewijs inwendig product berekent. Het resultaat is een kenmerkenkaart die laat zien waar het door de filter weergegeven patroon in de invoer voorkomt. In beeldverwerking detecteren verschillende filters verschillende kenmerken: randen, hoeken, texturen of concepten op een hoger niveau wanneer ze in meerdere lagen worden gestapeld.

Klassieke beeldverwerking gebruikt handmatig ontworpen filters: de Sobel-filter detecteert horizontale of verticale randen, de Laplaciaanfilter detecteert alle randen en de Gaussiaanse filter maakt afbeeldingen waziger (gladder). In deep learning worden deze filters uit gegevens geleerd in plaats van handmatig ontworpen. Het belangrijkste inzicht achter CNN's is dat het netwerk automatisch ontdekt welke filters nuttig zijn voor de taak door de trainingsfout te minimaliseren.

nn.Conv2d(in_channels, out_channels, kernel_size) is de kernlaag van een CNN. in_channels is het aantal invoerkanalen (3 voor RGB-afbeeldingen), out_channels is het aantal filters dat moet worden geleerd en kernel_size is de ruimtelijke grootte van elke filter (3 betekent 3x3). Elke filter produceert één uitvoerkanaal, dus 64 filters produceren een kenmerkenkaart met 64 kanalen. Het totale aantal parameters in één Conv2d-laag is out_channels * in_channels * kernel_h * kernel_w + out_channels (bias).

Padding voegt nullen toe rond de rand van de invoer voordat de convolutie wordt uitgevoerd. padding=1 met een filter van 3x3 behoudt de ruimtelijke afmetingen van de invoer (same-padding). Zonder padding verkleint elke convolutie de breedte en hoogte met kernel_size - 1. Stride bepaalt hoeveel pixels de filter bij elke stap verschuift. stride=2 halveert de uitvoerafmetingen en werkt als een lichte poolingbewerking. Convoluties met stride 2 worden in moderne CNN's vaak gebruikt in plaats van expliciete pooling.

Een kleurenafbeelding heeft 3 kanalen (R, G, B). Elke filter in een Conv2d-laag heeft een diepte die gelijk is aan in_channels: de filter werkt tegelijk over alle invoerkanalen en produceert per ruimtelijke positie één enkele uitvoerwaarde. Met 64 filters krijg je 64 uitvoerkanalen. De volgende convolutielaag gebruikt deze 64 kanalen vervolgens als invoer. Door kanalen op deze manier te stapelen kan het netwerk steeds abstractere representaties opbouwen, van eenvoudige kleurranden tot onderdelen van objecten op een hoger niveau.

Een belangrijk voordeel van convoluties is het delen van gewichten: dezelfde filter wordt op elke ruimtelijke positie toegepast. Een filter van 3x3 op een afbeelding van 256x256 gebruikt 9 parameters, ongeacht de afbeeldingsgrootte. Een volledig verbonden laag zou daarentegen miljoenen parameters nodig hebben. Hierdoor zijn CNN's voor afbeeldingsgegevens veel parameterefficiënter dan MLP's en hebben ze translatie-equivariantie: een verschoven versie van een patroon in de invoer produceert een overeenkomstig verschoven kenmerkenkaart.

Het visualiseren van geleerde filters onthult een hiërarchie van geleerde kenmerken. Filters in de eerste laag detecteren meestal georiënteerde randen, kleurverlopen en texturen — vergelijkbaar met handmatig ontworpen Sobel-filters. Filters in middelste lagen detecteren combinaties daarvan: krommen, hoeken en texturen. Filters in diepe lagen reageren op onderdelen van objecten (ogen, wielen, veren). Dit hiërarchische leren van kenmerken verklaart waarom diepe CNN's oppervlakkige modellen sterk overtreffen bij taken voor beeldherkenning.

Het receptieve veld van een neuron in een CNN is het gebied van de oorspronkelijke invoerafbeelding dat bijdraagt aan de activatie ervan. Eén convolutielaag met een filter van 3x3 heeft een receptief veld van 3x3. Twee gestapelde lagen met filters van 3x3 geven een receptief veld van 5x5. Drie lagen geven 7x7. Veel kleine filters stapelen is parameterefficiënter dan één grote filter en levert hetzelfde receptieve veld op. Daarom gebruiken moderne CNN's bijna uitsluitend filters van 3x3 — geïnspireerd door de bevindingen rond VGGNet.

Het standaard-CNN-blok volgt het patroon: Conv2d -> BatchNorm2d -> ReLU -> (optionele pooling). Dit drietal wordt meerdere keren herhaald met steeds meer kanalen, waarbij de ruimtelijke afmetingen geleidelijk afnemen en het aantal kenmerkkanelen toeneemt. De ruimtelijke verkleining comprimeert locatie-informatie, terwijl de uitbreiding van het aantal kanalen meer abstracte kenmerken vastlegt. Dit patroon vormt de basis van ResNet, VGG, EfficientNet en de meeste andere architecturen.

Na het trainen kun je kenmerkkaarten (filteractivaties) voor een specifieke invoerafbeelding visualiseren om te zien wat elke filter heeft gedetecteerd. Heldere gebieden in een kenmerkkaart geven aan waar het bijbehorende filterpatroon is gedetecteerd. Dit is nuttig voor het opsporen van fouten (controleren of vroege lagen randdetectoren hebben geleerd) en voor uitlegbaarheid (laten zien welke gebieden van een afbeelding een detector voor 'honden vacht' of 'wiel' in latere lagen hebben geactiveerd).

1x1-convoluties passen op elke ruimtelijke positie een lineaire combinatie over de kanalen toe, zonder ruimtelijke menging. Ze worden gebruikt om het aantal kanalen goedkoop te verkleinen of uit te breiden (zoals in de Inception- en MobileNet-bottleneckontwerpen). Een 1x1-convolutie van 256 naar 64 kanalen vermindert de berekening in de daaropvolgende 3x3-convolutie met een factor 16. Ze introduceren ook niet-lineariteit (via activatie) tussen stappen waarin kanalen worden gemengd, waardoor de modelcapaciteit toeneemt tegen minimale kosten in parameters.

In deze les heb je geleerd dat convolutie een filter over de invoer schuift en daarbij inproducten berekent om een kenmerkkaart te maken die aangeeft waar het filterpatroon voorkomt, dat de parameters van nn.Conv2d (in_channels, out_channels, kernel_size, padding, stride) de filterbank bepalen, en dat gewichtsdelen convoluties voor ruimtelijke gegevens veel efficiënter maken met parameters dan volledig verbonden lagen. Hierna bekijken we poolinglagen voor ruimtelijke verkleining en translatie-invariantie.