Деревья решений и случайные леса

Дерево решений классифицирует объекты, задавая цепочку вопросов «да» или «нет» о признаках, пока не получит ответ. 🌳

Каждая точка разветвления — это разбиение, например правило «возраст больше 30». В зависимости от этой проверки данные идут налево или направо.

Когда полезные вопросы заканчиваются, вы попадаете в лист. Класс, преобладающий в этом листе, становится предсказанием.

Дерево выбирает каждое разбиение так, чтобы группы были как можно более однородными; это оценивается такими критериями, как нечистота Джини или энтропия.

Одно из главных достоинств — интерпретируемость: можно проследить путь вопросов и точно объяснить, почему было сделано предсказание.

Если не ограничивать дерево, оно становится глубоким и запоминает обучающие данные. Такое переобучение ухудшает точность на новых, ранее не виденных строках.

Умерить рост дерева можно, ограничив его с помощью max_depth. Вы немного жертвуете точностью на обучающих данных, зато значительно улучшаете обобщение.

Случайный лес обучает множество деревьев и позволяет им голосовать. Такая группа гораздо стабильнее любого одного глубокого дерева.

Для разнообразия каждое дерево обучается на случайной выборке строк и случайном подмножестве признаков. В этом и заключается главный секрет метода.

В scikit-learn для этого нужна одна строка. Установите n_estimators, чтобы выбрать количество деревьев в ансамбле.

Обученный лес сообщает, какие входные данные были наиболее важны, с помощью feature_importances_ — это быстрый способ понять, что влияет на предсказания.

Дерево решений задаёт вопросы, пока не дойдёт до листа; случайный лес голосует по множеству деревьев, снижая переобучение. 🎯