Koda kategoriska variabler: OrdinalEncoder och OneHotEncoder

Maskininlärningsmodeller arbetar med tal, inte strängar. En kolumn som innehåller värden som 'red', 'green', 'blue' kan inte skickas direkt till en estimator i scikit-learn. Ni måste konvertera kategorier till numeriska representationer före träningen. Valet av kodningsmetod har stor betydelse: en olämplig kodning kan införa skenbara ordinala samband eller kraftigt öka dimensionaliteten. Den här lektionen behandlar de två viktigaste kodarna: OrdinalEncoder för ordnade kategorier och OneHotEncoder för oordnade kategorier.

Alla kategoriska variabler är inte likadana. Ordinala kategorier har en meningsfull ordning: small < medium < large eller bad < fair < good < excellent. Nominala kategorier har ingen inneboende ordning: red, blue, green är bara etiketter. Om Ni väljer fel kodning skapas falska samband – om oordnade färger till exempel heltalskodas som 0, 1, 2 talar det om för modellen att blue (1) på något sätt ligger mellan red (0) och green (2), vilket saknar mening. Identifiera alltid om en variabel är ordinal eller nominal innan Ni kodar den.

OrdinalEncoder mappar varje kategori till ett heltal baserat på en angiven ordning. Ni anger parametern categories som en lista med listor, där positionen avgör vilket heltal som tilldelas. Om Ni inte anger någon ordning tilldelar scikit-learn heltal i alfabetisk ordning – vilket kanske stämmer överens med den verkliga ordningen, eller kanske inte. Ange alltid kategoriordningen uttryckligen för ordinala variabler, så att modellen fångar det korrekta sambandet mellan värdena.

OneHotEncoder skapar en binär kolumn per kategori. För en egenskap color med värdena red, green, blue skapas tre kolumner: color_red, color_green, color_blue, där exakt en är 1 och resten är 0 på varje rad. Detta undviker all antydd ordning. Nackdelen är dimensionaliteten: en egenskap med 100 unika värden skapar 100 nya kolumner. Som standard tar scikit-learns OneHotEncoder bort en kategori (dummy-kodning) för att undvika perfekt multikollinearitet i linjära modeller.

När Ni använder OneHotEncoder med linjära modeller leder det till perfekt multikollinearitet att behålla alla K kolumner för en variabel med K kategorier – kolumnerna summerar till 1, så vilken kolumn som helst kan uttryckas som en linjärkombination av de andra. Detta gör designmatrisen singulär (icke-inverterbar). Om Ni anger drop='first' tas den första kategorin bort, vilket lämnar K-1 kolumner som beskriver variabeln fullständigt utan redundans. För trädbaserade modeller är det ofarligt att behålla alla K kolumner och det kan ibland vara något bättre, så Ni kan använda drop=None.

En utmaning i verkliga tillämpningar är att en kategori kan förekomma vid inferens som inte fanns i träningsdata. Som standard ger OrdinalEncoder och OneHotEncoder ett fel för okända kategorier. Ange handle_unknown='ignore' i OneHotEncoder för att skapa rader med enbart nollor för okända värden (modellen gör en förutsägelse utan den egenskapen). För OrdinalEncoder anger Ni handle_unknown='use_encoded_value' tillsammans med unknown_value=-1 för att markera okända värden uttryckligen.

När en kategorisk egenskap har hundratals eller tusentals unika värden, till exempel postnummer eller produkt-SKU:er, skapar one-hot-kodning en ohanterligt stor matris. Målkodning ersätter varje kategori med medelvärdet för målvariabeln för den kategorin. Detta komprimerar egenskaper med hög kardinalitet till en enda kolumn. Risken är målläckage: om Ni kodar med ett medelvärde som beräknats på samma rader som Ni tränar på memorerar modellen mönster i stället för att generalisera. Använd alltid målkodning över flera foldar för att förhindra läckage.

Binär kodning är en kompromiss mellan ordinal kodning och one-hot-kodning. Varje heltalskod konverteras till sin binära representation, vilket ger log2(K) kolumner i stället för K kolumner. Åtta kategorier behöver till exempel endast 3 binära kolumner i stället för 8 one-hot-kolumner. Detta minskar dimensionaliteten avsevärt för egenskaper med 10–100 kategorier. Biblioteket category_encoders tillhandahåller BinaryEncoder, som hanterar denna transformering med ett scikit-learn-kompatibelt API.

Verkliga datamängder innehåller en blandning av numeriska, ordinala och nominala kolumner. ColumnTransformer tillämpar olika transformeringar på olika kolumner parallellt och sammanfogar resultaten. Ange ordinala kolumner med OrdinalEncoder, nominala kolumner med OneHotEncoder och numeriska kolumner med StandardScaler. Resultatet är en enda ren numerisk matris som är redo för valfri estimator i scikit-learn. Detta är standardmönstret i produktion för datamängder med blandade datatyper.

Efter kodningen har egenskapsmatrisen fler kolumner än den ursprungliga DataFrame, och transformatorerna i scikit-learn håller reda på de nya namnen. Anropa get_feature_names_out() på ColumnTransformer eller OneHotEncoder för att hämta de genererade egenskapsnamnen. Detta är avgörande för modellens tolkningsbarhet: om Ni vet vilken one-hot-kolumn som motsvarar vilken ursprunglig kategori kan Ni tolka egenskapsvikter från Random Forests eller SHAP-värden från gradientboostade modeller korrekt.

Här är en komplett pipeline med blandad kodning. ColumnTransformer hanterar tre kolumntyper: numeriska egenskaper skalas, en ordinal egenskap heltalskodas med en uttryckligen angiven ordning och nominala egenskaper blir one-hot-kolumner. Därefter korsvalideras pipelinen – kodningen anpassas på nytt inom varje CV-fold för att förhindra läckage. Detta mönster fungerar för alla datamängder och är redo för driftsättning när det har tränats på hela datamängden.

I den här lektionen har Ni lärt Er: skillnaden mellan ordinala och nominala kategorier och varför den avgör valet av kodning, OrdinalEncoder för ordnade variabler och OneHotEncoder för nominala variabler, samt hur okända kategorier hanteras och hur kodare kombineras i en ColumnTransformer-pipeline. Härnäst utforskar vi hur alla förbehandlingssteg kan kombineras med ColumnTransformer.