LightGBM: Bladvis vekst og fordeler med høy hastighet

LightGBM (Light Gradient Boosting Machine) er et bibliotek for gradient boosting som ble utviklet av Microsoft i 2017. Det ble utformet spesielt for å håndtere begrensningene i hastighet og minnebruk som XGBoost har på store datasett. LightGBM introduserte to viktige algoritmiske nyvinninger: Gradient-based One-Side Sampling (GOSS) for å redusere antallet dataforekomster som vurderes i hver runde, og Exclusive Feature Bundling (EFB) for å redusere antallet egenskaper ved å samle gjensidig utelukkende sparsomme egenskaper. Til sammen gjør dette LightGBM betydelig raskere enn XGBoost på store tabellariske datasett.

De fleste implementasjoner av gradient boosting (inkludert XGBoost som standard) bygger trær nivåvis: Alle noder på dybde 1 splittes før en node på dybde 2 splittes. Dette sikrer balanserte trær, men sløser med beregninger på splitter som reduserer tapet svært lite. LightGBM bygger trær bladvis: I hvert trinn finner det det ene bladet i hele treet som vil redusere tapet mest, og splitter dette, uavhengig av nivå. Dette gir ubalanserte trær som reduserer tapet raskere per splitt, og som krever færre splitter for å oppnå samme nøyaktighet.

Bladvis vekst kan føre til overtilpasning på små datasett fordi den aggressivt prioriterer den største tapsreduksjonen og potensielt memoriserer individuelle eksempler i svært dype blader. Løsningen er parameteren num_leaves (maksimalt totalt antall blader i ett tre). Ved å angi num_leaves på en passende måte begrenses treets kompleksitet mer presist enn med max_depth alene. En vanlig tommelfingerregel er: num_leaves = 2^(max_depth) / 2. For en max_depth-ekvivalent på 6 kan De prøve num_leaves rundt 32–50.

LightGBM installeres med pip install lightgbm. I likhet med XGBoost tilbyr det et scikit-learn-kompatibelt API gjennom LGBMClassifier og LGBMRegressor. Angi verbose=-1 for å skjule treningsutdataene (LightGBM er som standard svært ordrikt). De viktigste hyperparametrene ligner på dem i XGBoost: n_estimators, learning_rate, num_leaves (i stedet for max_depth) og subsample.

LightGBM er vanligvis 5–10 ganger raskere enn XGBoost på store datasett, samtidig som det oppnår tilsvarende eller bedre nøyaktighet. Hastighetsfordelen skyldes: (1) histogrambasert søk etter splitter (grupperer kontinuerlige egenskapsverdier i diskrete intervaller og reduserer beregningen av splitter fra O(n) til O(bins)); (2) bladvis vekst (færre splitter er nødvendig); (3) GOSS (trener bare på eksempler med høy gradient og tilfeldig utvalgte eksempler med lav gradient). Hastighetsfordelen er tydeligst for datasett med mer enn 100 000 rader eller mer enn 1 000 egenskaper.

En av LightGBM sine praktiske fordeler er innebygd støtte for kategoriske egenskaper. I stedet for å kreve one-hot-koding kan De sende indeksene til de kategoriske kolonnene til parameteren categorical_feature. LightGBM lærer optimale splitter ved å teste alle grupperinger av kategorier. Dette er mer uttrykksfullt enn binære one-hot-splitter og unngår den kraftige økningen i størrelse som oppstår når egenskaper med hundrevis av kategorier one-hot-kodes. Dette er særlig nyttig for e-handelsdatasett med produkt-ID-er eller stedskoder.

LightGBM støtter tidlig stopp gjennom tilbakekallingsfunksjoner. Send inn en early_stopping-tilbakekalling med antallet tålmodighetsrunder og en log_evaluation-tilbakekalling for å styre hvor mye som logges. Den beste modelltilstanden (best_iteration_) brukes automatisk til prediksjon. I likhet med XGBoost gjør dette at De kan angi n_estimators svært høyt og la tidlig stopp finne det optimale punktet uten overtilpasning.

De viktigste hyperparametrene i LightGBM er: num_leaves (styrer kompleksiteten og er det viktigste regulariseringsverktøyet), learning_rate (lavere verdi = flere nødvendige trær og bedre generalisering), min_child_samples (minimum antall eksempler per blad, bør økes sammen med num_leaves for å hindre overtilpasning), subsample og colsample_bytree (stokastisk regularisering), samt reg_alpha/reg_lambda (L1-/L2-straffer). Start med standardverdiene, og juster num_leaves og min_child_samples først.

LGBMRegressor fungerer på samme måte for regresjonsoppgaver. Det støtter flere tapsfunksjoner via parameteren objective: 'regression' (L2), 'regression_l1' (MAE), 'huber' (robust mot uteliggere) og 'quantile' (for prediksjonsintervaller). Kvantilregresjon med LightGBM er særlig nyttig i produksjon: Tren én modell for 10-persentilen og én for 90-persentilen for å lage kalibrerte usikkerhetsgrenser rundt prediksjonene.

Både XGBoost og LightGBM er utmerkede verktøy. Praktiske retningslinjer: Bruk LightGBM når datasettet er stort (over 100 000 rader), når De trenger rask iterasjon under utforskningen, eller når De har kategoriske egenskaper med mange kategorier. Bruk XGBoost når datasettet er lite til middels stort, når De ønsker en mer konservativ nivåvis vekst som er vanskeligere å overtilpasse på støyende data, eller når teamet allerede har erfaring med XGBoost. I konkurranser prøver man ofte begge og velger den som gjør det best på valideringssettet. CatBoost er et tredje, sterkt alternativ med enda bedre håndtering av kategoriske egenskaper.

I likhet med XGBoost tilbyr LightGBM egenskapsviktighet, tilgjengelig via model.feature_importances_ (bruker antall splitter som standard i sklearn-API-et) eller model.booster_.feature_importance(importance_type='gain'). Typen gain er vanligvis mer informativ – den måler den gjennomsnittlige forbedringen i tap per splitt som bruker denne egenskapen. LightGBM støtter også SHAP-verdier for modellagnostiske forklaringer via model.predict(X, pred_contrib=True) i det opprinnelige API-et, noe som gir detaljerte egenskapstilordninger for hver prediksjon.

I denne leksjonen lærte De at LightGBM sin bladvise vekst finner det beste enkeltbladet å splitte i hver runde og konvergerer raskere enn nivåvis vekst, at num_leaves er den viktigste kontrollen for kompleksitet og erstatter max_depth, og at LightGBM sin innebygde støtte for kategoriske egenskaper unngår kostnadene ved one-hot-koding. Deretter skal vi se nærmere på de viktigste hyperparametrene learning rate, n_estimators og max_depth.