Torneo di selezione dei modelli: confronto tra cinque algoritmi

Nessun singolo algoritmo è superiore su tutti i dataset. Il teorema No Free Lunch dimostra che, considerando la media su tutti i problemi possibili, ogni algoritmo ha le stesse prestazioni — ciò significa che è necessario confrontare empiricamente gli algoritmi sui propri dati specifici. Un torneo di selezione dei modelli addestra e valuta sistematicamente diversi algoritmi in condizioni identiche, rivelando quale si adatta meglio alla struttura dei dati. Il vincitore potrà passare alla fase di ottimizzazione degli iperparametri e alla valutazione per il deployment.

Per un confronto equo, ogni algoritmo deve partire dalla stessa matrice di feature preprocessata e deve essere valutato sullo stesso test set messo da parte. Racchiuda ogni algoritmo in una Pipeline che includa il preprocessing, in modo che il preprocessing venga adattato solo ai fold di training. Usi un random_state fisso ovunque per garantire la riproducibilità. Tenga il test set al sicuro: non lo consulti fino alla valutazione finale, eseguita una sola volta, del vincitore del torneo.

La regressione logistica è il baseline lineare essenziale. È interpretabile (i coefficienti mostrano l’effetto delle feature), è rapida da addestrare e funziona bene quando il confine decisionale è approssimativamente lineare. Nel torneo funge da livello di riferimento minimo: se i modelli basati su alberi non riescono a superarla in modo significativo, il dataset potrebbe non contenere pattern non lineari complessi che valga la pena catturare con modelli più complessi. Usi class_weight='balanced' per i dataset sbilanciati.

Random Forest gestisce naturalmente relazioni non lineari, interazioni tra feature e tipi di dati misti, senza bisogno di ridimensionare le feature. Produce valori affidabili di importanza delle feature ed è robusto rispetto agli outlier. Nelle competizioni è spesso il secondo algoritmo migliore dopo il gradient boosting e costituisce un baseline solido per i dati tabellari. Imposti n_estimators=200 e class_weight='balanced' per una configurazione predefinita valida.

XGBoost è il vincitore citato più comunemente nelle competizioni di ML su dati tabellari. Il suo boosting sequenziale corregge gli errori residui a ogni passaggio, ottenendo prestazioni elevate sui dati strutturati. Valori predefiniti chiave per un’esecuzione del torneo: n_estimators=300, learning_rate=0.05, max_depth=6 e scale_pos_weight impostato sul rapporto tra la classe negativa e quella positiva per gestire lo sbilanciamento. Passi eval_set per abilitare facoltativamente l’arresto anticipato.

SVM con kernel RBF eccelle sui dataset con classi chiaramente separate e poche feature irrilevanti. Richiede molta memoria (conserva i vettori di supporto) ed è lenta sui dataset di grandi dimensioni (tempo di addestramento da O(n²) a O(n³)), ma può superare i modelli ad albero sui dataset più piccoli con confini complessi. Standardizzi le feature prima dell’addestramento: le SVM sono molto sensibili alla scala delle feature. Usi probability=True per ottenere probabilità calibrate da usare nella valutazione dell’AUC.

Un semplice percettrone multistrato (MLP) con 2-3 strati nascosti può catturare pattern non lineari complessi, ma richiede un attento ridimensionamento, una regolarizzazione e tempi di addestramento più lunghi rispetto ai modelli basati su alberi quando si lavora con dati tabellari. Lo utilizzi quando gli altri quattro algoritmi raggiungono tutti lo stesso livello di prestazioni, suggerendo che il confine decisionale richieda una modellazione con maggiore capacità. sklearn.neural_network.MLPClassifier è comodo per il torneo e non richiede una configurazione completa di PyTorch.

Raccolga tutti i punteggi AUC della CV a 5 fold in una tabella ordinata in base all’AUC media. Registri anche la deviazione standard: un modello con un’AUC media leggermente inferiore ma una varianza molto più bassa potrebbe essere preferibile per il deployment, perché le sue prestazioni sono più prevedibili tra diverse partizioni dei dati. Mostri i risultati con un grafico a barre orizzontali per facilitarne la comunicazione agli stakeholder.

Una differenza di 0,002 nell’AUC tra due modelli potrebbe essere dovuta semplicemente al rumore introdotto dalla partizione casuale dei dati. Usi un t-test appaiato o il test dei ranghi con segno di Wilcoxon sui punteggi dei singoli fold per determinare se la differenza è statisticamente significativa. Se il p-value supera 0,05, scelga il modello più semplice: la sua minore complessità lo rende più facile da sottoporre a debug, spiegare e mantenere in produzione.

Dopo aver selezionato il vincitore del torneo, lo valuti esattamente una volta sul test set messo da parte. Questa è la stima imparziale delle prestazioni da riportare nella model card. Non ottimizzi mai gli iperparametri dopo aver visto i risultati sul test set: farlo costituisce una fuga di dati attraverso il processo di valutazione. Se l’AUC sul test è sostanzialmente inferiore all’AUC della CV (di oltre 2-3 deviazioni standard), verifichi la presenza di overfitting o di uno spostamento della distribuzione tra le suddivisioni di training e test.

L’AUC non è l’unico criterio. Consideri: l’interpretabilità (la regressione logistica potrebbe essere obbligatoria per la conformità normativa), il tempo di addestramento (se esegue un nuovo addestramento settimanale su 10M di righe, il vantaggio in termini di velocità di XGBoost è importante), l’occupazione di memoria (una SVM che conserva 100k vettori di supporto potrebbe superare il budget per il deployment) e l’equità (il modello con l’AUC più elevata potrebbe avere una parità demografica peggiore). Il torneo seleziona il candidato; la sua idoneità al deployment è una decisione distinta e basata su più criteri.

In questa lezione ha imparato che: ogni algoritmo deve essere racchiuso in una Pipeline e valutato con fold CV identici sullo stesso training set, la classifica del torneo ordina i modelli in base all’AUC media della CV, usando un test di significatività appaiato per distinguere le differenze reali da quelle dovute al rumore e il test set viene utilizzato una sola volta, sul modello vincitore, per produrre una stima onesta delle prestazioni da inserire nella model card. Ora passeremo a impacchettare, documentare e presentare il modello finale per il deployment.