Valeurs SHAP : importance globale et locale des caractéristiques

L’explicabilité est la capacité à comprendre pourquoi un modèle a produit une prédiction donnée. Dans les domaines à forts enjeux comme le crédit, la santé et le recrutement, les autorités de réglementation et les utilisateurs exigent des explications, et pas seulement des prédictions exactes. SHAP (SHapley Additive exPlanations) fournit un cadre fondé sur des principes mathématiques et issu de la théorie des jeux coopératifs pour fournir ces explications, quel que soit le modèle.

Les valeurs SHAP s’inspirent des valeurs de Shapley de la théorie des jeux coopératifs, dans laquelle les joueurs (les variables) collaborent pour produire un résultat (la prédiction). Chaque variable reçoit une part équitable du mérite, calculée en faisant la moyenne de sa contribution marginale sur tous les ordres possibles des variables. SHAP est ainsi la seule méthode d’attribution additive qui respecte les axiomes d’efficacité, de symétrie, du joueur fictif et d’additivité.

La bibliothèque shap prend en charge les modèles arborescents, les réseaux neuronaux et tout modèle boîte noire. Installez-la avec pip install shap, puis importez-la avec votre modèle entraîné. Les explicateurs SHAP tiennent compte du type de modèle : TreeExplainer fournit, pour le gradient boosting et les forêts aléatoires, des valeurs exactes en temps O(T·D²), bien plus rapidement que le calcul naïf des valeurs de Shapley en temps exponentiel.

Appelez explainer.shap_values(X_test) pour produire une matrice dans laquelle chaque ligne correspond à un échantillon et chaque colonne à une variable. La valeur SHAP de la variable j dans l’échantillon i représente la contribution de la variable j pour éloigner la prédiction de la valeur de base attendue. Les valeurs positives orientent la prédiction vers la classe positive ; les valeurs négatives l’orientent vers la classe négative.

L’importance globale des variables résume les variables qui comptent le plus parmi toutes les prédictions. Le summary_plot SHAP en mode barres affiche la moyenne de la valeur SHAP absolue pour chaque variable et les classe de la plus importante à la moins importante. Il remplace l’importance des variables intégrée, trop naïve, qui ne compte que le nombre de séparations et favorise les variables présentant un grand nombre de modalités.

Le diagramme en essaim (le summary_plot par défaut) est plus riche qu’un diagramme en barres : chaque point représente un échantillon et sa couleur dépend de la valeur de la variable (rouge = élevée, bleu = faible). L’axe des abscisses indique la valeur SHAP ; vous pouvez donc voir non seulement quelles variables comptent, mais aussi dans quelle direction une valeur élevée ou faible de la variable oriente les prédictions. Cela révèle en un coup d’œil les effets non linéaires et les effets d’interaction.

Un diagramme de force explique une prédiction unique. Il affiche la valeur de base à gauche et la prédiction finale à droite, les variables étant représentées par des flèches qui augmentent la sortie (rouge) ou la diminuent (bleu). La largeur de chaque flèche est proportionnelle à la valeur SHAP de la variable. C’est l’explication que vous présenteriez à un chargé de crédit demandant : « pourquoi cette demande a-t-elle été refusée ? »

Le diagramme en cascade est une solution plus lisible que le diagramme de force pour un échantillon unique. Il empile verticalement les contributions SHAP à partir de la valeur de base, en représentant la contribution de chaque variable par un segment de barre. Les contributions positives sont rouges et poussent vers le haut ; les contributions négatives sont bleues et tirent vers le bas. Le total final de l’empilement est égal à la sortie brute du modèle pour cet échantillon.

Un diagramme de dépendance SHAP montre comment la valeur SHAP d’une variable évolue lorsque sa valeur brute change ; la couleur dépend d’une deuxième variable afin de révéler les interactions. Par exemple, représenter « worst radius » en le colorant selon « mean texture » permet de voir si l’effet du rayon dépend de la texture. Cette méthode va au-delà des diagrammes de dépendance partielle classiques en prenant naturellement en compte toutes les interactions entre variables.

Lorsque le modèle est une boîte noire (SVM, réseau neuronal, n'importe quel estimateur sklearn), utilisez shap.KernelExplainer, qui approxime les valeurs de Shapley en échantillonnant des coalitions et en ajustant localement un modèle linéaire pondéré. Cette méthode est indépendante du modèle, mais plus lente que TreeExplainer. Fournissez un résumé des données de référence (par exemple, les centroïdes de K-Means) afin d'accélérer les calculs sur les grands jeux de données.

Une propriété essentielle de SHAP est l'efficacité : la somme de toutes les valeurs SHAP d'un échantillon, ajoutée à la valeur de base, doit être égale à la sortie brute du modèle. La vérification de cette cohérence confirme que l'explicateur fonctionne correctement. Toute divergence indique une incompatibilité entre le type d'explicateur et le modèle, ou des données de référence incorrectes.

Dans cette leçon, vous avez appris que : les valeurs SHAP quantifient la contribution de chaque caractéristique à une prédiction à l'aide des valeurs de Shapley issues de la théorie des jeux, que les résumés globaux (graphiques en barres et en essaim d'abeilles) révèlent l'importance globale des caractéristiques et leur influence, et que les explications locales (graphiques en force et en cascade) justifient les prédictions individuelles. Nous allons maintenant étudier LIME comme autre approche d'explication indépendante du modèle.