Costruire un albero: suddivisioni, nodi e foglie

Un albero decisionale è una struttura simile a un diagramma di flusso, in cui ogni nodo interno pone una domanda sì/no su una caratteristica, ogni ramo rappresenta una risposta e ogni nodo foglia contiene una previsione. Per classificare un nuovo campione, si parte dalla radice, si seguono i rami in base ai valori delle caratteristiche e si arriva a una foglia, la cui etichetta costituisce la previsione. Gli alberi decisionali sono interpretabili per progettazione: è possibile ricostruire esattamente il motivo di qualsiasi previsione leggendo la sequenza delle domande a cui è stata data risposta, caratteristica che li rende popolari in settori regolamentati come quello finanziario e sanitario.

Un albero decisionale ha tre tipi di componenti: nodo radice (la prima domanda posta, ovvero la suddivisione più informativa dell'intero dataset), nodi interni (domande intermedie che suddividono ulteriormente sottoinsiemi dei dati) e nodi foglia (nodi terminali in cui vengono memorizzate le predizioni). Ogni nodo interno suddivide i dati in due o più sottoinsiemi in base a una soglia di una feature. La profondità di un albero è la lunghezza del percorso più lungo dalla radice a una foglia qualsiasi. Gli alberi più profondi possono rappresentare pattern più complessi, ma sono più soggetti all'overfitting.

La costruzione di un albero decisionale è un algoritmo greedy e ricorsivo. A ogni nodo, valuta ogni possibile suddivisione per ogni feature e soglia, sceglie la suddivisione che separa meglio le classi (misurata tramite impurità di Gini o guadagno informativo), la applica e poi ripete ricorsivamente il processo su ciascun sottoinsieme risultante. Il processo continua finché non viene raggiunto un criterio di arresto: profondità massima raggiunta, numero minimo di campioni per nodo oppure assenza di ulteriori suddivisioni utili. Greedy significa che a ogni passaggio viene scelta la suddivisione localmente migliore, senza backtracking: questo può far perdere suddivisioni ottimali a livello globale, ma rende l'algoritmo trattabile.

Gli alberi decisionali in scikit-learn utilizzano sempre suddivisioni allineate agli assi (ortogonali): ogni domanda verifica se una feature è al di sopra o al di sotto di una soglia (ad esempio, age <= 35?). Questo crea regioni decisionali rettangolari nello spazio delle feature 2D. Sebbene questo approccio sia semplice e interpretabile, non può rappresentare in modo efficiente confini decisionali diagonali: ad esempio, separare due classi lungo una linea a 45 gradi richiede molte suddivisioni. Gli ensemble di alberi (Random Forests) superano questo limite combinando molti alberi, ciascuno con suddivisioni allineate agli assi diverse, che insieme approssimano confini di qualsiasi forma.

DecisionTreeClassifier di scikit-learn viene addestrato con una singola chiamata a fit(). I parametri principali includono max_depth (profondità massima dell'albero, fondamentale per controllare l'overfitting), criterion (misura della qualità della suddivisione: 'gini' o 'entropy') e min_samples_split (numero minimo di campioni necessari per suddividere un nodo, che impedisce di suddividere gruppi troppo piccoli). Dopo il fitting, l'albero è immediatamente pronto per effettuare predizioni. A differenza di KNN, la predizione ha complessità O(log N): è sufficiente seguire i rami appresi, rendendo gli alberi decisionali veloci in fase di inferenza.

Il punto di forza degli alberi decisionali è che è possibile seguire ogni passaggio della predizione. Il metodo decision_path() restituisce una matrice sparsa che indica i nodi attraversati da ciascun campione. Il metodo apply() restituisce l'indice del nodo foglia per ciascun campione. Questi strumenti consentono di spiegare a un utente esattamente quali domande sono state poste e quali risposte hanno portato alla predizione: un aspetto essenziale per la conformità normativa, il debugging e la creazione di fiducia con gli stakeholder non tecnici.

Ogni nodo foglia memorizza una distribuzione delle classi ottenuta dai campioni di addestramento che lo hanno raggiunto. Nella classificazione, la classe predetta è la classe maggioritaria nella foglia. Per la stima delle probabilità, predict_proba() restituisce la frazione di ciascuna classe nella foglia. Una foglia contenente 10 campioni, di cui 9 della classe A e 1 della classe B, predice la classe A con probabilità 0.9. Gli alberi con meno campioni per foglia producono stime di probabilità meno affidabili; per questo i parametri di regolarizzazione come min_samples_leaf sono importanti per ottenere probabilità calibrate.

DecisionTreeRegressor funziona come il classificatore, ma predice il valore medio del target dei campioni di addestramento presenti in ogni foglia. Cambia il criterio di suddivisione: invece dell'impurità di Gini, minimizza l'errore quadratico medio (o l'errore assoluto medio) all'interno di ciascun nodo figlio risultante. Gli alberi di regressione producono predizioni a gradino, ovvero valori costanti all'interno di regioni rettangolari. Con una profondità sufficiente, possono adattarsi perfettamente a tutti i dati di addestramento, ma questo porta a un grave overfitting. Controlli la profondità e min_samples_leaf per regolarizzare l'albero di regressione.

Dopo il fitting, tree.feature_importances_ fornisce una misura del contributo di ciascuna feature alle suddivisioni. L'importanza di una feature viene calcolata come la riduzione totale dell'impurità (Gini o entropia) attribuita a quella feature, ponderata in base alla frazione di campioni che raggiunge ciascuna suddivisione. I valori hanno somma pari a 1.0. La feature più importante ottiene il punteggio più alto. Questo offre un metodo rapido e interpretabile per individuare quali input influenzano maggiormente le predizioni, utile per la selezione delle feature, l'analisi aziendale e l'individuazione di potenziali problemi nei dati.

Un importante vantaggio pratico degli alberi decisionali è che sono completamente invarianti alla scala. Una suddivisione su income <= 50000 e una suddivisione su income_thousands <= 50 producono strutture dell'albero identiche. Aggiungere 100 a tutti i valori di una feature o moltiplicarli per 1000 non cambia le suddivisioni scelte. Non è mai necessario applicare StandardScaler o MinMaxScaler prima di un albero decisionale. Questo significa anche che gli alberi decisionali gestiscono feature con scale molto diverse senza alcun preprocessing, semplificando le pipeline.

Gli alberi decisionali gestiscono i valori mancanti in modo più efficace rispetto a molti algoritmi. Il DecisionTreeClassifier di scikit-learn supporta nativamente i valori mancanti quando splitter='best': i campioni con valori mancanti nella feature usata per la suddivisione vengono inviati al nodo figlio che minimizza l'impurità calcolata sui dati non mancanti. In alternativa, è possibile usare suddivisioni surrogate: quando la feature della suddivisione principale è mancante per un campione, viene utilizzata al suo posto una feature correlata. Questa robustezza rispetto ai dati mancanti è uno dei vantaggi pratici dei modelli basati su alberi rispetto ai metodi basati sulla distanza, come KNN, che richiedono vettori di feature completi.

In questa lezione ha imparato come gli alberi decisionali suddividono ricorsivamente i dati usando suddivisioni allineate agli assi, che ogni foglia memorizza la distribuzione delle classi per effettuare predizioni tramite voto di maggioranza e che gli alberi decisionali sono invarianti alla scala e non richiedono lo scaling delle feature. Ora esamineremo l'impurità di Gini e il guadagno informativo, i criteri che determinano quale suddivisione scegliere in ogni nodo.