Значения SHAP: глобальная и локальная важность признаков

Объяснимость — это возможность понять, почему модель выдала конкретное предсказание. В критически значимых областях, таких как кредитование, здравоохранение и найм, регулирующие органы и пользователи требуют объяснений, а не только точных предсказаний. SHAP (SHapley Additive exPlanations) предоставляет математически обоснованную методологию, основанную на теории кооперативных игр, для получения таких объяснений для любой модели.

Значения SHAP основаны на значениях Шепли из теории кооперативных игр, где игроки (признаки) совместно формируют результат (предсказание). Каждый признак получает справедливую долю заслуг: его маржинальный вклад усредняется по всем возможным порядкам добавления признаков. Благодаря этому SHAP — единственный аддитивный метод атрибуции, удовлетворяющий аксиомам эффективности, симметрии, фиктивного игрока и аддитивности.

Библиотека shap поддерживает модели на основе деревьев, нейронные сети и любые модели типа «чёрный ящик». Установите её с помощью команды pip install shap и импортируйте вместе с обученной моделью. Объяснители SHAP учитывают тип модели: TreeExplainer для градиентного бустинга и случайных лесов вычисляет точные значения за время O(T·D²), что намного быстрее наивного вычисления значений Шепли с экспоненциальной временной сложностью.

Вызовите explainer.shap_values(X_test), чтобы получить матрицу, в которой каждая строка соответствует образцу, а каждый столбец — признаку. Значение SHAP для признака j в образце i показывает вклад признака j в смещение предсказания от ожидаемого базового значения. Положительные значения смещают предсказание в сторону положительного класса, а отрицательные — в сторону отрицательного.

Глобальная важность признаков показывает, какие признаки важнее всего для всех предсказаний в совокупности. summary_plot SHAP в режиме столбчатой диаграммы отображает среднее абсолютное значение SHAP для каждого признака и ранжирует признаки от наиболее до наименее важных. Это заменяет наивную встроенную оценку важности признаков, которая учитывает только количество разбиений и потому необъективно отдаёт предпочтение признакам с большим числом уникальных значений.

Диаграмма-рой (стандартный вариант summary_plot) информативнее столбчатой диаграммы: каждая точка соответствует одному образцу и окрашена в зависимости от значения признака (красный — высокое значение, синий — низкое). Ось x показывает значение SHAP, поэтому можно увидеть не только важность признаков, но и направление, в котором высокое или низкое значение признака смещает предсказание. Это позволяет сразу заметить нелинейные эффекты и эффекты взаимодействия.

Диаграмма сил объясняет одно предсказание. Слева отображается базовое значение, а справа — итоговое предсказание; признаки представлены стрелками, которые повышают (красные) или понижают (синие) результат. Ширина каждой стрелки пропорциональна значению SHAP соответствующего признака. Именно такое объяснение можно показать кредитному специалисту, который спрашивает: «Почему эта заявка была отклонена?»

Каскадная диаграмма — более наглядная альтернатива диаграмме сил для одного образца. Она вертикально складывает вклады SHAP, начиная с базового значения, и показывает вклад каждого признака в виде сегмента столбца. Положительные вклады окрашены в красный цвет и направлены вверх, а отрицательные — в синий и направлены вниз. Итоговая сумма сегментов равна необработанному выходу модели для этого образца.

Диаграмма зависимости SHAP показывает, как изменяется значение SHAP одного признака при изменении его исходного значения; цветом обозначается второй признак, чтобы выявить взаимодействия. Например, диаграмма для признака «наихудший радиус», окрашенная по признаку «средняя текстура», показывает, зависит ли влияние радиуса от текстуры. Такой подход превосходит обычные диаграммы частичной зависимости, поскольку естественным образом учитывает взаимодействия всех признаков.

Если модель является «чёрным ящиком» (SVM, нейронная сеть или любой оцениватель sklearn), используйте shap.KernelExplainer. Он приближённо вычисляет значения Шепли, выбирая случайные коалиции и подбирая локальную взвешенную линейную модель. Этот метод не зависит от типа модели, но работает медленнее, чем TreeExplainer. Чтобы ускорить вычисления на больших наборах данных, укажите сводку фонового набора данных (например, центроиды K-средних).

Важное свойство SHAP — эффективность: сумма всех значений SHAP для образца плюс базовое значение должна равняться необработанному выходу модели. Проверка этого здравого условия подтверждает, что объяснитель работает правильно. Любое расхождение указывает на несоответствие типа объяснителя модели или на некорректные фоновые данные.

В этом уроке Вы узнали, что значения SHAP количественно оценивают вклад каждого признака в предсказание, используя значения Шепли из теории игр; глобальные сводки (столбчатые диаграммы и диаграммы-рои) показывают общую важность и направление влияния признаков; а локальные объяснения (диаграммы сил и каскадные диаграммы) обосновывают отдельные предсказания. Далее мы рассмотрим LIME как альтернативный подход к объяснению моделей, не зависящий от их типа.