LightGBM и CatBoost

XGBoost обладает высокой эффективностью, но может работать медленно на очень больших наборах данных. LightGBM и CatBoost — более новые библиотеки для градиентного бустинга, которые повышают скорость и более корректно обрабатывают категориальные данные.

LightGBM перед поиском разбиений распределяет непрерывные признаки по дискретным интервалам (строит гистограмму). Благодаря этому поиск разбиений выполняется значительно быстрее и требует меньше памяти, чем точный метод.

В отличие от построения по уровням, LightGBM строит деревья по листьям: сначала разделяется лист с наибольшим уменьшением потерь. Сходимость ускоряется, но может возникнуть переобучение, поэтому степень сложности контролируется с помощью num_leaves.

num_leaves — важнейший параметр сложности LightGBM. Большие значения повышают точность, но увеличивают риск переобучения. Практическое правило — поддерживать условие num_leaves < 2^max_depth.

Благодаря распределению по интервалам гистограммы, построению по листьям и выборке признаков и данных LightGBM заметно быстрее обучается на больших наборах данных, чем XGBoost, часто обеспечивая сопоставимую точность.

LightGBM поддерживает раннюю остановку с помощью обратных вызовов. Передайте набор для оценки и обратный вызов early_stopping, чтобы остановить обучение, когда метрика перестанет улучшаться.

CatBoost особенно эффективен для категориальных данных. Передайте исходные категориальные столбцы напрямую через cat_features — ручное кодирование не требуется.

Внутри он использует упорядоченную статистику целевого признака, чтобы избежать утечки целевого значения.

В других библиотеках категории необходимо кодировать единичными векторами или метками, что может резко увеличить размерность данных или привести к утечке целевого значения. CatBoost обрабатывает это внутри с помощью упорядоченного бустинга, уменьшая переобучение на категориальных признаках.

CatBoost использует iterations (аналог n_estimators), learning_rate и depth (он строит симметричные деревья). Часто он хорошо работает при минимальной настройке.

Общие рекомендации:

• LightGBM обычно быстрее всего работает на больших наборах числовых данных
• CatBoost лучше подходит при большом количестве категориальных признаков и требует меньше настройки
• XGBoost — зрелое и надёжное решение с удачными значениями по умолчанию

Проверьте все три варианта на своих данных: результаты зависят от задачи.

Если у Вас много категориальных данных, начните с CatBoost. Для огромных таблиц с числовыми данными и высокой скорости выберите LightGBM. Для проверенного временем базового решения используйте XGBoost. Все три библиотеки реализуют градиентный бустинг, поэтому изученные концепции применимы к каждой из них.

Проверьте свои знания о библиотеках для градиентного бустинга.

Повторение: LightGBM использует разбиения на основе гистограмм и построение по листьям, управляемое параметром num_leaves, что обеспечивает высокую скорость на больших наборах числовых данных. CatBoost изначально обрабатывает категориальные признаки через cat_features, без кодирования. Обе библиотеки, как и XGBoost, являются разновидностями градиентного бустинга. Сравнивайте их на своих данных: CatBoost выбирайте для категориальных данных, а LightGBM — для высокой скорости.