Résumer les résultats dans un rapport

Les notebooks Jupyter bruts contenant des centaines de graphiques et de cellules de code sont difficiles à partager avec les parties prenantes qui doivent agir sur la base des résultats. Un rapport récapitulatif d’EDA synthétise les informations les plus importantes de toutes vos analyses univariées et bivariées sous la forme d’un exposé clair. Les bons rapports distinguent les résultats (ce que montrent les données) des implications (ce qu’il faut faire) et n’incluent des visualisations justificatives que pour les affirmations clés.

Un rapport EDA professionnel contient généralement six sections : 1) Vue d’ensemble du jeu de données (forme, source, période), 2) Problèmes de qualité des données (valeurs manquantes, valeurs aberrantes, doublons et traitement appliqué), 3) Distribution des variables clés (colonnes numériques et catégorielles les plus importantes), 4) Corrélations et associations (relations présentant les amplitudes les plus élevées), 5) Informations sur les sous-groupes (différences entre groupes importantes pour la question métier) et 6) Prochaines étapes recommandées (actions de nettoyage, suggestions de modélisation).

La section de vue d’ensemble doit être générée par programme afin de garantir son exactitude à tout moment. Relevez la forme, les noms de colonnes et les types de données, la période couverte (le cas échéant), ainsi que la source ou la version du jeu de données. Rédiger cette section dans le code plutôt qu’en prose évite l’erreur courante qui consiste à décrire dans un rapport un jeu de données de 10 000 lignes alors que celui-ci a en réalité été généré à partir d’une version nettoyée de 9 800 lignes.

La section consacrée à la qualité des données répertorie chaque problème détecté ainsi que la décision prise pour chacun d’eux. Utilisez un tableau comportant les colonnes suivantes : Colonne, Problème, Gravité (élevée/moyenne/faible), Action effectuée. Calculez ce tableau par programme à partir des résultats du profilage afin qu’il soit automatiquement mis à jour lorsque les données changent. La gravité doit refléter l’impact métier : une variable cible manquante est un problème de gravité élevée, tandis qu’une colonne manquante qui n’est pas prédictive peut être de faible gravité.

Une figure récapitulative combine plusieurs graphiques dans une seule image qui peut être intégrée à un rapport. Utilisez plt.subplots(rows, cols) pour créer une grille et attribuez à chaque résultat clé son propre panneau. Enregistrez la figure avec savefig() en utilisant une résolution DPI adaptée au format de sortie (150 pour un affichage à l’écran, 300 pour une impression). Donnez à chaque panneau un titre formulé comme un résultat clair, par exemple « Le tarif est fortement asymétrique à droite (asymétrie=4,1) », plutôt que le simple nom de la colonne.

Chaque résultat clé doit être formulé comme une phrase pertinente pour l’activité, et non comme une description technique. Au lieu d’écrire « La colonne tarif présente une asymétrie=4,1 », écrivez « Les prix des billets sont extrêmement asymétriques à droite : un petit nombre de passagers de première classe ont payé plus de 10 fois le tarif médian, ce qui peut fausser les analyses de revenus qui utilisent le prix moyen. » Cette traduction d’une observation statistique en implication métier est ce qui donne toute sa valeur aux rapports EDA pour les parties prenantes non techniques.

Vous pouvez rédiger des rapports EDA sous forme de fichiers Markdown directement depuis Python. Créez une chaîne contenant des titres Markdown, des listes à puces et des liens vers des images intégrées, puis écrivez-la dans un fichier .md. Cette approche produit des rapports reproductibles qui se mettent automatiquement à jour lorsque les données sous-jacentes changent, ce qui les rend adaptés à l’intégration dans les artefacts de sortie d’un pipeline de données ou dans des dépôts Git.

Les notebooks Jupyter peuvent être exportés en HTML ou en PDF à l’aide de jupyter nbconvert --to html notebook.ipynb. Cela conserve tous les graphiques, le code et les cellules Markdown dans un seul fichier partageable, dont la consultation ne nécessite aucune installation de Python. Pour un pipeline entièrement automatisé, exécutez le notebook par programme avec papermill : papermill input.ipynb output.ipynb -p date '2024-01-01', ce qui paramètre et exécute le notebook comme un script.

La section prochaines étapes recommandées est souvent la plus consultée d’un rapport EDA. Structurez-la sous forme de liste de contrôle priorisée : P1 (bloquant) — problèmes qui doivent être corrigés avant que toute analyse soit valide (par exemple, des types de données mal identifiés), P2 (important) — actions de nettoyage qui influent considérablement sur les performances du modèle (par exemple, le traitement des valeurs aberrantes), P3 (souhaitable) — idées d’enrichissement et sources de données supplémentaires à explorer. Cette présentation aide l’équipe à affecter les efforts de manière appropriée.

ydata-profiling (pip install ydata-profiling) génère un rapport HTML complet en un seul appel. Le rapport inclut des statistiques générales, les distributions des variables, les corrélations, les schémas de valeurs manquantes et la détection des doublons — toutes les sections d’un rapport EDA manuel. Utilisez-le pour une exploration rapide au début d’un projet, puis rédigez un rapport récapitulatif personnalisé mettant en évidence les résultats les plus pertinents pour votre question métier.

Parmi les anti-modèles courants des rapports EDA : afficher chaque graphique pour chaque colonne (cela produit des rapports de 50 pages que personne ne lit — sélectionnez les 5 à 10 éléments les plus importants), énoncer des faits sans les interpréter (« l’âge comporte 177 valeurs nulles » — mais que faut-il en faire ?), ne pas actualiser le rapport après le nettoyage (nettoyez les données, puis recommencez le profilage pour confirmer que les problèmes ont été résolus) et mélanger le code de nettoyage et l’analyse (séparez le nettoyage des données du récit de l’EDA).

Testez votre compréhension de la rédaction de rapports EDA présentée dans cette leçon.

Dans cette leçon, vous avez appris à structurer les rapports EDA en six sections (vue d’ensemble, qualité, distributions, corrélations, informations sur les sous-groupes, prochaines étapes), à générer par programme des figures récapitulatives à plusieurs panneaux et des rapports Markdown, et à traduire les résultats statistiques en un langage pertinent pour l’activité. Nous allons maintenant explorer des techniques avancées d’indexation — la création de MultiIndex et la sélection hiérarchique dans Pandas.