Hvorfor nevrale nettverk slår håndlagde egenskaper

En feature er et målbart kjennetegn du gir til en modell, for eksempel antall rom i et hus eller lysstyrken til en piksel.

I flere tiår brukte eksperter uker på å utforme features manuelt. De bestemte hvilke kanter, forholdstall eller ordtellinger modellen skulle legge merke til.

Manuell utforming er langsom og lite robust. De beste features for kattebilder er ubrukelige for røntgenbilder, så hver nye oppgave innebar å begynne helt på nytt.

Nevrale nettverk snur om på dette med representasjonslæring: Nettverket finner selv nyttige features direkte fra rådataene.

Tidlige lag oppdager små deler, for eksempel kanter. Dypere lag kombinerer dem til former og deretter objekter. Kompleksiteten øker når dataene strømmer gjennom nettverket.

I en ansiktsmodell finner ett lag kanter, det neste finner øyne og neser, og et senere lag gjenkjenner hele ansikter. Ingen har programmert disse trinnene.

Disse featurene blir lært under treningen og justert av dataene, i stedet for å bli utformet av deg. Nettverket avgjør hva som er viktigst.

Det er den store fordelen: Du kan mate inn rå piksler, lyd eller tekst og la nettverket finne representasjonen, uten måneder med manuelt arbeid.

På rike og uordnede data som bilder og tale slår lærte features vanligvis manuelt lagde features. Derfor dominerer nevrale nettverk disse oppgavene i dag.

Hvert lag er bare et lite matematisk trinn. I PyTorch kan en lærbar feature-ekstraktor begynne med ett lineært lag, slik.

Lærte features trenger mer data og datakraft. Når det finnes få eksempler, kan en manuelt utformet tilnærming fortsatt være det klokeste og rimeligste valget.

Du så overgangen fra manuelt utformede features til representasjonslæring. Lag bygger på egen hånd opp kanter til objekter, og derfor fungerer nettverk så godt på rike data. 🚀