Интуитивное понимание частичной зависимости

Важность показывает, что признак имеет значение, но не объясняет как именно. График частичной зависимости показывает направление и форму этого влияния. 📈

Он отвечает на простой вопрос: если изменить только этот признак, как изменится средний прогноз, пока всё остальное остаётся неизменным?

Метод перебирает значения признака в его диапазоне, получает прогноз для каждой строки при каждом значении, а затем усредняет эти прогнозы в одну кривую.

Восходящая линия означает, что увеличение значения признака повышает прогнозы. Плоская линия означает, что модель почти не реагирует на этот признак.

Частичная зависимость особенно полезна для нелинейных моделей: кривая может расти, выходить на плато или снижаться, показывая влияние, которое скрыл бы один коэффициент.

scikit-learn построит такие графики за Вас с помощью PartialDependenceDisplay, если указать модель, данные и исследуемый признак.

Передайте два признака и получите тепловую карту 2D, показывающую, как их взаимодействие вместе изменяет поверхность прогнозов.

График ICE строит отдельную линию для каждой строки вместо усреднённой линии, поэтому Вы можете заметить подгруппы с разной реакцией.

Частичная зависимость предполагает, что признаки примерно независимы. Сильные корреляции могут создавать нереалистичные сочетания и вводить в заблуждение усреднённую кривую.

SHAP распределяет вклад для каждого прогноза, а частичная зависимость описывает общую форму влияния одного признака на всём наборе данных.

Простую кривую роста или снижения легко понять неспециалистам: она превращает непрозрачную модель в ясную историю о причине и следствии.

Вы увидели, как частичная зависимость превращает признак в понятную кривую, а ICE добавляет подробности, тогда как SHAP показывает вклад для каждой строки. Далее — убедительные графики. 🎯