Scalatura delle feature: StandardScaler e MinMaxScaler

Molti algoritmi di machine learning sono sensibili alla scala delle feature di input. Se una feature varia da 0 a 1000 e un'altra da 0 a 1, i modelli basati sulla distanza, come KNN e SVM, saranno dominati dalla feature con la scala maggiore. Anche gli algoritmi di discesa del gradiente convergono molto più rapidamente quando le feature hanno una scala simile. I modelli basati su alberi, come Random Forest e XGBoost, sono invarianti rispetto alla scala e non richiedono la scalatura, ma quasi tutti gli altri algoritmi ne traggono vantaggio.

StandardScaler trasforma ogni feature in modo che abbia media nulla e varianza unitaria, applicando la formula: z = (x - mean) / std. Questa procedura viene chiamata standardizzazione o normalizzazione dello z-score. I valori risultanti sono centrati intorno a 0 e non hanno un intervallo fisso. StandardScaler è la scelta predefinita per la maggior parte degli algoritmi, tra cui regressione logistica, SVM e reti neurali, soprattutto quando la distribuzione della feature è approssimativamente gaussiana.

Dopo aver chiamato fit(), StandardScaler memorizza le statistiche del set di addestramento in scaler.mean_ e scaler.scale_ (deviazione standard). Queste stesse statistiche vengono utilizzate quando si chiama transform() su nuovi dati: ciò significa che il set di test viene scalato utilizzando i parametri del set di addestramento, non i propri. Questo è il comportamento corretto: in produzione si ricevono singoli campioni uno alla volta e occorre scalarli utilizzando le statistiche calcolate durante l'addestramento.

MinMaxScaler comprime ogni feature in un intervallo specificato, in genere [0, 1], utilizzando la formula: x_scaled = (x - x_min) / (x_max - x_min). A differenza di StandardScaler, preserva la forma relativa della distribuzione e gestisce bene i dati non gaussiani. È sensibile ai valori anomali: un singolo valore estremo può comprimere tutti gli altri valori vicino a zero o a uno. MinMaxScaler è molto utilizzato per le reti neurali e per i valori dei pixel delle immagini (scalati nell'intervallo [0, 1]).

RobustScaler esegue la scalatura utilizzando la mediana e l'intervallo interquartile (IQR) invece della media e della deviazione standard. Poiché la mediana e l'IQR non sono influenzati dai valori estremi, RobustScaler è una scelta migliore quando i dati contengono outlier significativi. La formula è: x_scaled = (x - median) / IQR. Utilizzi RobustScaler quando non può rimuovere gli outlier e vuole che abbiano un'influenza minima sui valori scalati passati al modello.

Ecco una guida rapida alla scelta: utilizzi StandardScaler quando i dati sono approssimativamente gaussiani e non presentano outlier estremi: è l'impostazione predefinita più sicura. Utilizzi MinMaxScaler quando ha bisogno di valori in un intervallo fisso, ad esempio per dati relativi a immagini o algoritmi che richiedono input nell'intervallo [0, 1]. Utilizzi RobustScaler quando sono presenti outlier significativi, come nei dati finanziari con picchi dovuti alle frodi. Per i modelli basati su alberi (Random Forest, XGBoost, LightGBM), eviti del tutto la scalatura: non offre alcun vantaggio e aggiunge complessità non necessaria.

Un errore comune consiste nel chiamare fit_transform() sul set di test, calcolando così una nuova media e una nuova deviazione standard dai dati di test. Si tratta di una forma di data leakage, perché lo scaler viene influenzato dai valori del set di test. Il procedimento corretto è: fit(X_train) → transform(X_train) → transform(X_test). Anche un piccolo miglioramento dell'accuratezza dovuto a questa perdita può portare a deployment in produzione eccessivamente ottimistici, che falliscono su dati realmente mai osservati.

Il modo più efficace per evitare il data leakage durante la scalatura consiste nell'inserire lo scaler in una Pipeline di scikit-learn. Quando la pipeline viene adattata con cross_val_score o GridSearchCV, in ogni fold lo scaler viene adattato esclusivamente sulla parte di training di quel fold. Il fold di test non viene mai utilizzato durante l'adattamento. Questo è il procedimento pronto per la produzione: i passaggi di preprocessing e modellazione vengono raggruppati, rendendo il deployment semplice come chiamare pipeline.predict(X_new).

Dopo aver effettuato le previsioni, potrebbe essere necessario riconvertirle alla scala originale: ad esempio, un modello dei prezzi delle abitazioni addestrato su prezzi trasformati con il logaritmo deve restituire prezzi in euro. Sia StandardScaler sia MinMaxScaler forniscono inverse_transform() per annullare la scalatura. Applichi la trasformazione inversa solo alla variabile target se questa è stata scalata prima dell'addestramento. In genere le feature non devono essere trasformate inversamente, perché vengono utilizzate internamente dal modello.

Le matrici sparse, comuni nella classificazione del testo con vettori TF-IDF, non devono essere scalate con StandardScaler o MinMaxScaler, perché il centering distrugge la sparsità trasformando la maggior parte degli zeri in valori diversi da zero, vanificando lo scopo dell'archiviazione sparsa. MaxAbsScaler scala ogni feature in base al suo valore assoluto massimo, mappando i valori nell'intervallo [-1, 1] senza eseguire il centering, e preserva la struttura sparsa. Utilizzi sempre MaxAbsScaler quando lavora con matrici di feature sparse ottenute da vettorizzatori come TfidfVectorizer.

Per osservare l'effetto pratico di ogni scaler, confronti fianco a fianco le distribuzioni dei risultati. Dopo la scalatura, l'output di StandardScaler dovrebbe seguire approssimativamente N(0,1), l'output di MinMaxScaler dovrebbe estendersi nell'intervallo [0,1] e l'output di RobustScaler dovrebbe avere mediana pari a 0 e IQR pari a 1. Tracciare gli istogrammi prima e dopo la scalatura conferma che la trasformazione è stata eseguita correttamente. Una buona scalatura delle feature è un prerequisito per un addestramento affidabile del modello, non un'aggiunta facoltativa.

In questa lezione ha imparato: perché la scalatura delle feature è essenziale per gli algoritmi basati sulle distanze e sulla discesa del gradiente, come StandardScaler standardizza a N(0,1) mentre MinMaxScaler comprime i valori nell'intervallo [0,1], e la regola fondamentale di adattare gli scaler solo sui dati di training per prevenire il leakage. Prossimamente esamineremo la codifica delle variabili categoriche con OrdinalEncoder e OneHotEncoder.