Boomdiepte beheersen om overfitting te voorkomen

Een onbeperkte beslisboom groeit door totdat elk trainingsvoorbeeld zijn eigen blad heeft — met een trainingsnauwkeurigheid van 100% doordat alle gegevenspunten, inclusief ruis, uit het hoofd worden geleerd. Dit is het extreme geval van overfitting: de boom leert de eigenaardigheden van de trainingsgegevens in plaats van algemene patronen. Op nieuwe gegevens presteert zo'n boom slecht, omdat zijn regels te specifiek zijn. Het beperken van de boomdiepte is het belangrijkste regularisatiemechanisme voor beslisbomen, vergelijkbaar met het kiezen van alpha in geregulariseerde lineaire modellen of van k in KNN.

max_depth beperkt hoeveel niveaus de boom kan groeien. Met max_depth=1 neemt de boom precies één beslissing (een 'stomp'). Met max_depth=3 kan de boom maximaal drie opeenvolgende vragen stellen. Minder diepe bomen generaliseren beter, maar kunnen underfitting vertonen; diepere bomen passen beter bij de trainingsgegevens, maar lopen meer risico op overfitting. De juiste max_depth is een hyperparameter die je via kruisvalidatie vindt. Een nuttige vuistregel: begin rond max_depth=3-5 en stem van daaruit af met een validatiecurve.

Als je de trainings- en validatienauwkeurigheid uitzet tegen max_depth, zie je het klassieke patroon van bias en variantie. Bij diepte 1 zijn zowel de trainings- als de validatienauwkeurigheid laag (underfitting — hoge bias). Naarmate de diepte toeneemt, stijgt de trainingsnauwkeurigheid snel naar 100%, terwijl de validatienauwkeurigheid een piek bereikt en daarna daalt (overfitting — hoge variantie). De optimale diepte is het punt waarop de validatiecurve piekt — voordat het verschil tussen training en validatie groter wordt. Gebruik kruisvalidatie in plaats van één validatiesplitsing voor een betrouwbaardere schatting van de locatie van de piek.

min_samples_split voorkomt dat een knoop wordt gesplitst als die minder dan een opgegeven aantal voorbeelden bevat. De standaardwaarde is 2 (elke knoop met 2 of meer voorbeelden kan worden gesplitst). Als je deze waarde verhoogt, moet de boom wachten op meer bewijs voordat hij een beslissing neemt. Zo voorkom je zeer specifieke splitsingen op kleine groepen die waarschijnlijk ruis bevatten. Als je min_samples_split=20 instelt, wordt geen enkele knoop met minder dan 20 voorbeelden verder gesplitst. Dit is vooral nuttig voor gegevensverzamelingen met veel voorbeelden en veel zeldzame subgroepen.

min_samples_leaf vereist dat elke ontstane onderliggende knoop na een splitsing minstens dit aantal voorbeelden bevat. Als een mogelijke splitsing een onderliggende knoop met te weinig voorbeelden zou maken, wordt die splitsing afgewezen. Dit is een strengere beperking dan min_samples_split, omdat hiermee een minimumaantal voorbeelden in elk blad wordt gegarandeerd. Een grotere waarde voor min_samples_leaf levert kleinere, minder diepe bomen met vloeiendere beslissingsgrenzen. Voor het schatten van kansen is deze parameter cruciaal: bladknopen met zeer weinig voorbeelden leveren onbetrouwbare kansschattingen op.

In plaats van de diepte te beperken, kun je rechtstreeks het maximumaantal bladknopen beperken. Met max_leaf_nodes=10 groeit de boom totdat hij precies 10 bladeren heeft. Bij elke stap kiest hij de splitsing die de grootste afname van impuriteit oplevert (groei volgens het beste eerst, niet volgens diepte eerst). Dit levert evenwichtigere bomen op dan groei met een dieptelimiet, omdat splitsingen worden toegewezen waar ze de meeste informatie opleveren in plaats van dat overal dezelfde diepte wordt afgedwongen. Groei volgens het beste eerst kan soms betere prestaties opleveren dan groei met een dieptelimiet bij hetzelfde aantal bladeren.

Pruning na het trainen verkleint een volledig gegroeide boom door splitsingen te verwijderen die weinig voorspellende waarde bijdragen. Scikit-learn implementeert kosten-complexiteitspruning via de parameter ccp_alpha. Een grotere ccp_alpha snoeit agressiever, wat kleinere bomen oplevert. Je kunt de optimale alpha vinden door het snoeipad te berekenen met cost_complexity_pruning_path(). Deze methode retourneert de alpha-waarden waarbij elke subboom optimaal wordt. Voer kruisvalidatie uit over deze alpha-waarden om de waarde te vinden die de validatienauwkeurigheid maximaliseert.

Als je een ondiepe en een diepe boom naast elkaar uitzet op een tweedimensionale gegevensverzameling, wordt het effect van overfitting visueel duidelijk. Een ondiepe boom (depth=2) tekent enkele rechthoekige beslissingsgebieden die de hoofdstructuur van de gegevens vastleggen. Een diepe boom (depth=20) maakt honderden kleine rechthoekige gebieden die de trainingspunten perfect volgen, inclusief ruis. Goede generalisatie ontstaat door de diepte te vinden waarbij de nauwkeurigheid op de testgegevens het hoogst is — deze ligt altijd onder de diepte van de volledig gegroeide boom, en het vinden ervan is het doel van elk experiment voor het afstemmen van de diepte.

Gebruik GridSearchCV om meerdere regularisatieparameters tegelijk te onderzoeken. Door combinaties van max_depth, min_samples_split en min_samples_leaf te onderzoeken, vind je in één stap de best geregulariseerde boom. Dit is systematischer dan parameters één voor één afstemmen, omdat ze elkaar kunnen beïnvloeden: een ondiepe boom heeft mogelijk een grotere min_samples_leaf nodig dan een diepe boom. Voer deze zoekopdracht altijd uit binnen een kruisvalidatielus om een onbevooroordeelde schatting te krijgen van de werkelijke prestaties van de optimale configuratie.

Leercurves zetten de modelprestaties uit tegen het aantal trainingsvoorbeelden. Bij een goed afgestemde boom convergeren de trainings- en validatienauwkeurigheid naar een hoge waarde naarmate de omvang van de trainingsgegevens toeneemt. Bij een overfitte diepe boom blijft de trainingsnauwkeurigheid hoog, maar blijft de validatienauwkeurigheid laag, zelfs bij veel voorbeelden. Bij een underfitte ondiepe boom vlakken beide curves af op een matige nauwkeurigheid, ongeacht de hoeveelheid gegevens. Als meer gegevens de validatienauwkeurigheid verbeteren, vertoont het model underfitting. Als het verschil tussen de trainings- en validatienauwkeurigheid groot is, vertoont het model overfitting en heeft het meer regularisatie nodig.

Een samenvatting van aanbevolen werkwijzen voor het beperken van de diepte: (1) Begin altijd met een ondiepe boom (diepte 3-5) en voeg alleen diepte toe als kruisvalidatie verbetering laat zien. (2) Gebruik min_samples_leaf naast max_depth — ze beperken overfitting op verschillende detailniveaus. (3) Gebruik bij onevenwichtige gegevensverzamelingen gestratificeerde kruisvalidatie bij het afstemmen. (4) Als de gegevensverzameling veel kenmerken heeft, kun je ook max_features overwegen om willekeur toe te voegen. (5) Houd er rekening mee dat het afstemmen van de diepte van één boom minder belangrijk is als je van plan bent een ensemble te gebruiken (Random Forest of Gradient Boosting) — het ensemble compenseert dit.

In deze les heb je geleerd hoe onbeperkte bomen overfitten door ruis uit de trainingsgegevens uit het hoofd te leren, wat de belangrijkste regularisatieparameters zijn — max_depth, min_samples_split, min_samples_leaf en max_leaf_nodes — en hoe je deze selecteert via GridSearchCV. Ook heb je kosten-complexiteitspruning leren kennen als alternatief na het trainen. Hierna bekijken we hoe je beslisbomen visualiseert en interpreteert om modelbeslissingen uit te leggen.