De vloek van te veel kenmerken

Extra kenmerken toevoegen lijkt nuttig, maar vanaf een bepaald punt maakt elke nieuwe kolom je gegevens ijler en je model moeilijker te trainen. 😬

Deze knelpunten vormen de vloek van dimensionaliteit: naarmate het aantal dimensies groeit, zwelt de ruimte op en komen je punten steeds verder uit elkaar te liggen.

In zeer veel dimensies ligt bijna elk paar punten ongeveer op dezelfde afstand van elkaar, waardoor methoden op basis van afstand geen onderscheid meer kunnen maken.

Om dezelfde dichtheid te behouden, groeit het aantal benodigde rijen exponentieel met het aantal kenmerken. Echte gegevenssets hebben nooit zoveel rijen, waardoor de ruimte grotendeels leeg blijft.

Met veel kolommen en weinig rijen kan een model ruis onthouden in plaats van het signaal. Die overfitting ziet er tijdens het trainen geweldig uit, maar faalt op nieuwe gegevens.

Veel kenmerken herhalen elkaar ongemerkt, zoals lengte in centimeters en lengte in inches. Deze redundantie verhoogt de kosten zonder nieuwe informatie toe te voegen.

Elke extra kolom bevat een beetje meetruis. Voeg er genoeg samen en de ruis kan de enkele kenmerken die er echt toe doen overschaduwen.

Meer dimensies betekenen meer geheugen en een langere training. Brede tabellen maken zelfs eenvoudige modellen traag en lastig te tunen.

Je kunt twee of drie dimensies tekenen, maar geen vijftig. Gegevens met veel dimensies zijn bijna onmogelijk rechtstreeks te visualiseren of te begrijpen.

Je kunt zwakke kolommen verwijderen met kenmerkselectie, of kolommen combineren tot minder nieuwe kolommen met kenmerkextractie zoals PCA.

PCA comprimeert veel gecorreleerde kenmerken tot een handvol nieuwe assen. Zo blijft de meeste informatie behouden terwijl het aantal dimensies afneemt.

Te veel kenmerken brengen de vloek van dimensionaliteit met zich mee: ijle gegevens, onduidelijke afstanden en overfitting. Het verkleinen van het aantal dimensies, vaak met PCA, lost dit op. 🎯