Codifica delle variabili categoriche: OrdinalEncoder e OneHotEncoder

I modelli di machine learning operano su numeri, non su stringhe. Una colonna contenente valori come 'red', 'green', 'blue' non può essere fornita direttamente a uno stimatore di scikit-learn. Prima dell'addestramento deve convertire le categorie in rappresentazioni numeriche. La scelta del metodo di codifica è molto importante: una codifica inappropriata può introdurre relazioni ordinali fittizie o far esplodere la dimensionalità. Questa lezione tratta i due encoder più importanti: OrdinalEncoder per le categorie ordinate e OneHotEncoder per quelle non ordinate.

Non tutte le variabili categoriche sono uguali. Le categorie ordinali hanno un ordine significativo: small < medium < large oppure bad < fair < good < excellent. Le categorie nominali non hanno un ordine intrinseco: red, blue, green sono semplicemente etichette. Scegliere la codifica sbagliata crea relazioni false: ad esempio, codificare i colori non ordinati come 0, 1, 2 comunica al modello che blue (1) si trovi in qualche modo tra red (0) e green (2), il che non ha alcun significato. Individui sempre se una variabile è ordinale o nominale prima di codificarla.

OrdinalEncoder associa ogni categoria a un intero in base a un ordine specificato. Si fornisce il parametro categories come lista di liste, dove la posizione determina l'intero assegnato. Se non si specifica l'ordine, scikit-learn assegna gli interi in ordine alfabetico, che può coincidere oppure no con l'ordine reale. Specifichi sempre esplicitamente l'ordine delle categorie per le variabili ordinali, così da garantire che il modello acquisisca la relazione corretta tra i valori.

OneHotEncoder crea una colonna binaria per ogni categoria. Per una feature color con i valori red, green, blue, produce tre colonne: color_red, color_green, color_blue, dove per ogni riga esattamente una colonna vale 1 e le altre valgono 0. In questo modo si evita di implicare un ordine. Il compromesso riguarda la dimensionalità: una feature con 100 valori distinti crea 100 nuove colonne. Per impostazione predefinita, OneHotEncoder di scikit-learn elimina una categoria (codifica dummy) per evitare la multicollinearità perfetta nei modelli lineari.

Quando si utilizza OneHotEncoder con modelli lineari, mantenere tutte le K colonne di una variabile con K categorie introduce multicollinearità perfetta: la somma delle colonne è 1, quindi una qualsiasi colonna è una combinazione lineare delle altre. Questo rende singolare la matrice del disegno (non invertibile). Impostando drop='first' si elimina la prima categoria, lasciando K-1 colonne che descrivono completamente la variabile senza ridondanze. Per i modelli basati su alberi, mantenere tutte le K colonne non crea problemi e talvolta offre risultati leggermente migliori, quindi può utilizzare drop=None.

Una difficoltà del mondo reale: durante l'inferenza può comparire una categoria che non era presente nei dati di training. Per impostazione predefinita, OrdinalEncoder e OneHotEncoder generano un errore per le categorie sconosciute. Imposti handle_unknown='ignore' in OneHotEncoder per produrre righe composte da soli zeri per i valori sconosciuti (il modello esegue la previsione senza quella feature). Per OrdinalEncoder, imposti handle_unknown='use_encoded_value' con unknown_value=-1 per segnalare esplicitamente i valori sconosciuti.

Quando una feature categorica ha centinaia o migliaia di valori distinti, ad esempio codici postali o SKU di prodotto, la codifica one-hot crea una matrice di dimensioni ingestibili. Il target encoding sostituisce ogni categoria con la media della variabile target per quella categoria. In questo modo le feature ad alta cardinalità vengono compresse in una singola colonna. Il rischio è il target leakage: se si utilizza la media calcolata sulle stesse righe usate per l'addestramento, il modello memorizza gli schemi invece di generalizzare. Utilizzi sempre il target encoding cross-fold per prevenire il leakage.

La codifica binaria è una soluzione intermedia tra la codifica ordinale e quella one-hot. Ogni codice intero viene convertito nella relativa rappresentazione binaria, producendo log2(K) colonne invece di K colonne. Ad esempio, per 8 categorie servono solo 3 colonne binarie invece di 8 colonne one-hot. Questo riduce significativamente la dimensionalità delle feature con 10–100 categorie. La libreria category_encoders fornisce BinaryEncoder, che gestisce questa trasformazione tramite un'API compatibile con scikit-learn.

I dataset reali contengono un insieme di colonne numeriche, ordinali e nominali. ColumnTransformer applica trasformazioni diverse a colonne diverse in parallelo e concatena i risultati. Specifichi le colonne ordinali con OrdinalEncoder, quelle nominali con OneHotEncoder e quelle numeriche con StandardScaler. L'output è un'unica matrice numerica ordinata, pronta per qualsiasi stimatore di scikit-learn. Questo è il procedimento standard per la produzione con dataset di tipo misto.

Dopo la codifica, la matrice delle feature contiene più colonne rispetto al DataFrame originale e i transformer di scikit-learn tengono traccia dei nuovi nomi. Chiami get_feature_names_out() su ColumnTransformer o OneHotEncoder per recuperare i nomi delle feature generate. Questo è essenziale per l'interpretabilità del modello: sapere quale colonna one-hot corrisponde a quale categoria originale consente di interpretare correttamente l'importanza delle feature nelle Random Forest o i valori SHAP dei modelli di gradient boosting.

Ecco una pipeline completa con codifica mista. ColumnTransformer gestisce tre tipi di colonne: le feature numeriche vengono scalate, una feature ordinale viene codificata come intero con un ordine esplicito e le feature nominali diventano colonne one-hot. La pipeline viene quindi sottoposta a cross-validation: la codifica viene riadattata all'interno di ogni fold CV per prevenire il leakage. Questo procedimento funziona con qualsiasi dataset ed è pronto per il deployment dopo l'addestramento sull'intero dataset.

In questa lezione ha imparato: la differenza tra categorie ordinali e nominali e il motivo per cui determina la scelta della codifica, OrdinalEncoder per le variabili ordinate e OneHotEncoder per le variabili nominali, oltre a come gestire le categorie sconosciute e combinare gli encoder in una pipeline con ColumnTransformer. Prossimamente esamineremo come combinare tutti i passaggi di preprocessing con ColumnTransformer.