Важность признаков и SHAP
На какие признаки модель опиралась сильнее всего
«Важность признаков и SHAP» — бесплатный урок Data Science Academy на CoddyKit. Это урок 1 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Data Science Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Data Science Academy содержит 4 уроков всего.
Какие признаки оказались важными?
После обучения модели необходимо понять, какие входные данные повлияли на её прогнозы. Такой рейтинг называется важностью признаков. 🔍
Встроенная важность деревьев
Модели на основе деревьев предоставляют быстрый массив важности признаков. Более высокие значения означают, что признак чаще использовался для разделения данных.
importances = model.feature_importances_Свяжите показатели с названиями
Массив показателей важности содержит только числа, поэтому объедините его с названиями столбцов, чтобы понять, какому признаку соответствует каждый показатель.
import pandas as pd
fi = pd.Series(model.feature_importances_, index=X.columns)Отсортируйте, чтобы увидеть главные факторы
Сортировка ряда важности показывает несколько признаков, которые несут большую часть полезного сигнала в Вашей модели.
fi.sort_values(ascending=False).head()Ограничение деревьев
Встроенные оценки деревьев могут отдавать предпочтение столбцам с большим числом уникальных значений. Они показывают частоту использования, но не всегда реальное влияние на прогнозы.
Перестановочная важность
Более справедливый метод, не зависящий от модели, — это перестановочная важность: перемешайте один столбец и измерьте, насколько снизится оценка.
from sklearn.inspection import permutation_importance
r = permutation_importance(model, X_test, y_test)Познакомьтесь с SHAP
Для подробного анализа отдельных прогнозов используются значения SHAP, которые справедливо распределяют каждый прогноз между признаками, его сформировавшими.
SHAP основан на теории игр
SHAP заимствует идеи из теории игр: каждый признак — игрок, а его значение — это вклад в конкретный прогноз.
Вычислите значения SHAP
Создайте объяснитель для обученной модели, а затем запросите у него значения SHAP для интересующих Вас строк.
import shap
explainer = shap.Explainer(model)
values = explainer(X_test)От локальных объяснений к глобальной картине
Усредните абсолютные значения SHAP по всем строкам — и получите надёжный рейтинг глобальной важности, составленный на основе локальных объяснений.
shap.plots.bar(values)Объясните один прогноз
SHAP также показывает, почему одна строка получила именно такую оценку: какие признаки повысили прогноз, а какие его снизили.
shap.plots.waterfall(values[0])Быстрая проверка
Какой метод даёт справедливую оценку важности, не зависящую от модели?
Итоги
Вы ранжировали признаки с помощью методов деревьев, перестановок и SHAP, перейдя от быстрых оценок к справедливому распределению вклада для отдельных прогнозов. Далее — как один признак изменяет результат. 🎯
Изучай Python с ИИ-репетитором — бесплатно
Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.
- Курсы
- 30
- Уроки
- 120
Часто задаваемые вопросы
Урок «Важность признаков и SHAP» бесплатный?
Да — полный текст урока «Важность признаков и SHAP» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Data Science Academy, подпишись на CoddyKit PRO. Курс Data Science Academy содержит 4 уроков всего.
Чему я научусь в уроке «Важность признаков и SHAP»?
На какие признаки модель опиралась сильнее всего Ты практикуешь Data Science Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать Data Science Academy?
Предыдущий опыт не требуется. Data Science Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 1 из 4.
Сколько времени занимает урок «Важность признаков и SHAP»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке Data Science Academy?
Да. Каждый урок Data Science Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Важность признаков и SHAP
- Интуитивное понимание частичной зависимости
- Диаграммы, убеждающие заинтересованные стороны
- От ноутбука к панели мониторинга