XGBoost: regularisering, tidigt stopp och egenskapernas betydelse

XGBoost (eXtreme Gradient Boosting) är ett högoptimerat bibliotek för gradient boosting som dominerade Kaggle-tävlingar från och med 2014. Det förbättrar scikit-learns GradientBoostingClassifier på tre huvudsakliga sätt: (1) inbyggd L1- och L2-regularisering av trädvikter för att minska överanpassning, (2) en andra ordningens Taylorutveckling av förlusten för mer exakta gradientuppskattningar och (3) en mycket effektiv approximerad histogram-baserad algoritm för att hitta splitpunkter som kan skalas till dataset med miljontals rader.

XGBoost är ett fristående bibliotek som installeras separat från scikit-learn. Det tillhandahåller ett sklearn-kompatibelt API genom XGBClassifier och XGBRegressor, så att Ni kan använda det med cross_val_score, GridSearchCV och Pipelines precis som vilken scikit-learn-estimator som helst. XGBoost:s ursprungliga API använder xgb.DMatrix och xgb.train() och erbjuder mer detaljerad kontroll över early stopping och anpassade målfunktioner.

XGBoost tillhandahåller två regulariseringstermer: reg_lambda (L2-straff på lövv ikter, standardvärde=1) och reg_alpha (L1-straff på lövv ikter, standardvärde=0). L2-regularisering krymper lövv ikterna mjukt mot noll; L1 kan sätta vissa lövv ikter till exakt noll (en gles trädstruktur). Båda minskar överanpassning på brusiga dataset. Dessutom kräver min_child_weight en minsta summa av observationsvikter i en barnnod innan en split görs, vilket fungerar som en begränsning av minsta antal observationer per löv.

Early stopping övervakar ett valideringsmått efter varje boosting-omgång och stoppar träningen när måttet inte har förbättrats under ett angivet antal omgångar (early_stopping_rounds). Detta förhindrar överanpassning och sparar beräkningsresurser — Ni kan tryggt ange ett mycket högt värde för n_estimators (t.ex. 1000) och låta early stopping hitta det optimala antalet omgångar. Den bästa omgången lagras i model.best_iteration och används automatiskt för prediktioner.

XGBoost tillhandahåller tre typer av feature importance: 'weight' (antal gånger en feature används i splittar), 'gain' (genomsnittlig förbättring av förlusten när en feature används för splitting — vanligtvis den mest informativa) och 'cover' (genomsnittligt antal observationer som påverkas av splittar på en feature). Ni kan komma åt dem via model.feature_importances_ (använder gain som standard i sklearn-API:t) eller model.get_booster().get_score(importance_type='gain').

XGBoost innehåller verktyget xgb.plot_importance(model) för inbyggd visualisering, som skapar ett horisontellt stapeldiagram över feature importance. För mer anpassning kan Ni använda Series från model.feature_importances_ och rita diagrammet med matplotlib. Feature importance från boosting beräknas annorlunda än från random forests — den återspeglar hur mycket varje feature bidrog till att minska förlusten över alla träd, viktat efter användningsfrekvens eller genomsnittlig gain.

XGBoost tillhandahåller tre parametrar för delurval som ger ytterligare regularisering: subsample (andelen träningsrader som används per träd, t.ex. 0.8), colsample_bytree (andelen egenskaper som används per träd, t.ex. 0.8) och colsample_bylevel (andelen egenskaper per djupnivå). Tillsammans introducerar dessa slumpmässighet på ett sätt som liknar delurval av egenskaper i random forests, vilket minskar korrelationen mellan träden. Typiska startvärden är subsample=0.8 och colsample_bytree=0.8.

XGBRegressor använder samma motor men optimerar en regressionsförlust (som standard kvadratfel, eller Tweedie, gamma, kvantil med mera). Early stopping med ett regressionsmått (t.ex. RMSE) fungerar på exakt samma sätt. XGBoost är särskilt konkurrenskraftigt för tabulära regressionsuppgifter eftersom det hanterar saknade värden inbyggt (lär sig den bästa riktningen för att skicka noder med saknade värden under konstruktionen av trädet) och stöder monotonitetsbegränsningar för domänspecifika samband mellan egenskaper.

Eftersom XGBClassifier implementerar scikit-learns estimatorgränssnitt fungerar det sömlöst med GridSearchCV. De hyperparametrar som ger störst effekt att justera är learning_rate, n_estimators (med early stopping), max_depth, subsample och colsample_bytree. En strategi i två steg fungerar bra: ange först en låg learning rate (0.05) och ett högt värde för n_estimators med early stopping för att hitta rätt antal träd. Kör sedan en grid search över de övriga parametrarna med detta fasta antal träd.

XGBoost hanterar saknade värden (NaN) inbyggt utan imputering. När ett attribut har ett saknat värde för vissa träningsexempel under konstruktionen av trädet provar XGBoost båda riktningarna (vänster eller höger barnnod) för saknade värden och väljer den riktning som maximerar vinsten. Den inlärda riktningen sparas i trädet och används vid prediktion. Detta är en betydande fördel jämfört med scikit-learn-modeller som kräver explicit imputering före träningen.

Trots att träden byggs sekventiellt parallelliserar XGBoost steget split finding inom varje träd: alla möjliga delningar över alla egenskaper utvärderas samtidigt med flera CPU-trådar. Ange n_jobs=-1 (eller nthread i det inbyggda API:t) för att använda alla tillgängliga kärnor. För GPU-acceleration installerar ni versionen med CUDA-stöd och anger device='cuda'. På en modern GPU kan XGBoost vara 5–50 gånger snabbare än CPU för stora datamängder, vilket gör det praktiskt för datamängder med miljontals rader.

I den här lektionen har ni lärt er att XGBoost lägger till L1-/L2-regularisering och andragradens gradienter till standardiserad gradient boosting, att early stopping förhindrar överanpassning genom att övervaka ett valideringsmått under träningen och att egenskapernas betydelse kan mätas med vikt, vinst eller täckning över alla träd. Härnäst utforskar vi LightGBM:s strategi för lövvis tillväxt och dess hastighetsfördelar.