Bygge et tre: Splitt, noder og blader

Et beslutningstre er en struktur som ligner et flytskjema, der hver intern node stiller et ja/nei-spørsmål om én egenskap, hver gren representerer et svar, og hver bladnode inneholder en prediksjon. For å klassifisere et nytt utvalg starter man ved roten, følger grenene i henhold til egenskapsverdiene og kommer frem til en bladnode hvis etikett er prediksjonen. Beslutningstrær er tolkbare som en del av utformingen — man kan følge nøyaktig hvorfor en prediksjon ble gjort ved å lese sekvensen av besvarte spørsmål. Derfor er de populære i regulerte bransjer som finans og helsevesen.

Et beslutningstre har tre typer komponenter: rotnode (det første spørsmålet som stilles – den mest informative oppdelingen av hele datasettet), indre noder (mellomliggende spørsmål som deler delmengder av dataene ytterligere) og bladnoder (sluttnoder der prediksjoner lagres). Hver indre node deler dataene inn i to eller flere delmengder basert på en terskelverdi for en egenskap. Dybden til et tre er lengden på den lengste veien fra roten til et blad. Dypere trær kan representere mer komplekse mønstre, men er mer utsatt for overtilpasning.

Konstruksjon av beslutningstrær er en grådig, rekursiv algoritme. Ved hver node evaluerer den alle mulige splitter for hver egenskap og terskelverdi, velger splitten som skiller klassene best (målt med Gini-urenhet eller informasjonsgevinst), bruker denne splitten og gjentar deretter prosessen rekursivt for hver resulterende delmengde. Dette fortsetter til et stoppkriterium er nådd: maksimal dybde er nådd, minimum antall observasjoner per node er nådd, eller det ikke finnes flere nyttige splitter. Grådig betyr at den lokalt beste splitten velges ved hvert trinn, uten tilbakesporing – dette kan føre til at globalt optimale splitter overses, men gjør algoritmen praktisk gjennomførbar.

Beslutningstrær i scikit-learn bruker alltid aksestilte (ortogonale) splitter: hvert spørsmål undersøker om én egenskap ligger over eller under en terskelverdi (for eksempel age <= 35?). Dette skaper rektangulære beslutningsområder i et todimensjonalt egenskapsrom. Selv om denne fremgangsmåten er enkel og lett å tolke, kan den ikke representere diagonale beslutningsgrenser effektivt – det kreves for eksempel mange splitter for å skille to klasser langs en linje på 45 grader. Trebaserte ensemblemodeller (Random Forests) overvinner dette ved å kombinere mange trær, der hvert tre har ulike aksestilte splitter som samlet kan tilnærme seg en beslutningsgrense med vilkårlig form.

scikit-learn sitt DecisionTreeClassifier trenes med ett enkelt kall til fit(). Viktige parametere omfatter max_depth (maksimal tredybde – avgjørende for å kontrollere overtilpasning), criterion (mål på splittekvalitet: 'gini' eller 'entropy') og min_samples_split (minimum antall observasjoner som kreves for å dele en node – hindrer at svært små grupper deles). Etter tilpasningen er treet umiddelbart klart til å lage prediksjoner. I motsetning til KNN er prediksjon O(log N) – du følger ganske enkelt de lærte grenene – noe som gjør beslutningstrær raske ved prediksjon.

Styrken ved beslutningstrær er at du kan følge hver prediksjon trinn for trinn. Metoden decision_path() returnerer en sparsom matrise som viser hvilke noder hver observasjon passerte gjennom. Metoden apply() returnerer indeksen til bladnoden for hver observasjon. Disse verktøyene lar deg forklare en bruker nøyaktig hvilke spørsmål som ble stilt, og hvilke svar som førte til prediksjonen – noe som er avgjørende for etterlevelse av krav, feilsøking og tillitsbygging med ikke-tekniske interessenter.

Hver bladnode lagrer en klassefordeling fra treningsobservasjonene som nådde den. Ved klassifisering er den predikerte klassen den vanligste klassen i bladet. Ved sannsynlighetsestimering returnerer predict_proba() andelen av hver klasse i bladet. En bladnode med 10 observasjoner: 9 i klasse A og 1 i klasse B, predikerer klasse A med sannsynlighet 0,9. Trær med færre observasjoner per blad gir mindre pålitelige sannsynlighetsestimater, og derfor er regulariseringsparametere som min_samples_leaf viktige for kalibrerte sannsynlighetsresultater.

DecisionTreeRegressor fungerer på samme måte som klassifikatoren, men predikerer gjennomsnittet av målverdiene til treningsobservasjonene i hvert blad. Splittekriteriet endres: I stedet for Gini-urenhet minimeres gjennomsnittlig kvadratisk feil (eller gjennomsnittlig absolutt feil) i hver resulterende undernode. Regresjonstrær produserer prediksjoner som trappefunksjoner – konstante verdier innenfor rektangulære områder. Med tilstrekkelig dybde kan de tilpasse seg treningsdataene nøyaktig, men dette fører til alvorlig overtilpasning. Kontroller dybden og min_samples_leaf for å regularisere regresjonstreet.

Etter tilpasningen gir tree.feature_importances_ et mål på hvor mye hver egenskap bidro til splittene. Egenskapsviktighet beregnes som den totale reduksjonen i urenhet (Gini eller entropi) som tilskrives hver egenskap, vektet etter andelen observasjoner som nådde hver splitt. Verdiene summerer seg til 1,0. Den viktigste egenskapen får høyest verdi. Dette gir en rask og tolkbar måte å identifisere hvilke inndata som i størst grad styrer prediksjonene på – nyttig for valg av egenskaper, forretningsinnsikt og oppdagelse av mulige problemer i dataene.

En viktig praktisk fordel med beslutningstrær er at de er fullstendig skala-uavhengige. En splitt på income <= 50000 og en splitt på income_thousands <= 50 gir identiske trestrukturer. Hvis du legger 100 til alle verdiene i en egenskap eller multipliserer dem med 1000, endres ikke de valgte splittene. Du trenger aldri å bruke StandardScaler eller MinMaxScaler før et beslutningstre. Dette betyr også at beslutningstrær håndterer egenskaper med svært ulike skalaer uten forhåndsbehandling, noe som gjør prosesseringsrør enklere.

Beslutningstrær håndterer manglende verdier mer fleksibelt enn mange andre algoritmer. scikit-learn sin DecisionTreeClassifier støtter manglende verdier direkte når splitter='best' brukes – observasjoner med manglende verdier for splitteegenskapen sendes til den undernoden som minimerer urenheten basert på dataene som ikke mangler verdier. Alternativt kan du bruke surrogatsplitter: Når den primære splitteegenskapen mangler for en observasjon, brukes en korrelert egenskap i stedet. Denne robustheten overfor manglende data er en praktisk fordel ved trebaserte modeller sammenlignet med avstandsbaserte metoder som KNN, som krever komplette egenskapsvektorer.

I denne leksjonen har De lært hvordan beslutningstrær deler opp data rekursivt ved hjelp av aksestilte splitter, at hvert blad lagrer klassefordelingen som brukes til prediksjon basert på flertallsavstemning, og at beslutningstrær er skala-uavhengige og ikke krever skalering av egenskaper. Neste gang utforsker vi Gini-urenhet og informasjonsgevinst – kriteriene som avgjør hvilken splitt som skal velges ved hver node.