Opsummering af resultater i en rapport

Rå Jupyter-notebooks med hundredvis af diagrammer og kodeceller er svære at dele med interessenter, der skal handle på resultaterne. En struktureret EDA-opsummeringsrapport kondenserer de vigtigste indsigter fra al din univariate og bivariate analyse til en tydelig fortælling. Gode rapporter adskiller resultater (hvad dataene viser) fra konsekvenser (hvad der skal gøres ved det) og medtager kun visualiseringer, der understøtter vigtige påstande.

En professionel EDA-rapport indeholder typisk seks afsnit: 1) Datasætoverblik (form, kilde, tidsperiode), 2) Problemer med datakvaliteten (manglende værdier, afvigende værdier, dubletter og deres behandling), 3) Fordelinger for vigtige variabler (de vigtigste numeriske og kategoriske kolonner), 4) Korrelationer og sammenhænge (de stærkeste relationer, der er fundet), 5) Indsigter om undergrupper (gruppeforskelle, der er relevante for forretningsspørgsmålet), og 6) Anbefalede næste trin (handlinger til datarensning, forslag til modellering).

Overbliksafsnittet bør genereres programmatisk for at sikre, at det altid er korrekt. Medtag form, kolonnenavne og datatyper, datointerval (hvis relevant) samt datasættets kilde eller version. Når du skriver dette afsnit i kode i stedet for prosa, undgår du den almindelige fejl at beskrive et datasæt med 10.000 rækker i en rapport, der faktisk blev genereret ud fra en renset version med 9.800 rækker.

Afsnittet om datakvalitet oplister alle fundne problemer og den beslutning, der blev truffet for hvert af dem. Brug et tabelformat med kolonnerne: Kolonne, Problem, Alvorlighed (Høj/Mellem/Lav), Udført handling. Beregn denne tabel programmatisk ud fra profileringsresultaterne, så den opdateres automatisk, når dataene ændres. Alvorligheden bør afspejle forretningspåvirkningen — en manglende målvariabel har høj alvorlighed, mens en manglende kolonne uden prædiktiv værdi kan have lav alvorlighed.

En opsummeringsfigur kombinerer flere diagrammer i ét billede, der kan indsættes i en rapport. Brug plt.subplots(rows, cols) til at oprette et gitter, og giv hvert vigtigt resultat sit eget panel. Gem figuren med savefig() ved en DPI-værdi, der passer til outputformatet (150 til skærm, 300 til udskrift). Giv hvert panel en titel med en tydelig formulering af resultatet, f.eks. 'Billetprisen er højreskæv (skew=4.1)', i stedet for blot kolonnenavnet.

Hvert vigtigt resultat bør formuleres som en forretningsrelevant sætning, ikke som en teknisk beskrivelse. I stedet for 'Kolonnen for billetpris har skævhed=4.1' kan du skrive 'Billetpriserne er ekstremt højreskæve — et lille antal passagerer på første klasse betalte over 10 gange medianprisen, hvilket kan forvrænge indtægtsanalyser, der bruger gennemsnitspriser.' Denne oversættelse fra statistisk observation til forretningsmæssig konsekvens er det, der gør EDA-rapporter værdifulde for ikke-tekniske interessenter.

Du kan skrive EDA-rapporter som markdown-filer direkte fra Python. Opbyg en streng, der indeholder markdown-overskrifter, punktopstillinger og indlejrede billedlinks, og skriv den derefter til en .md-fil. Denne tilgang skaber reproducerbare rapporter, der opdateres automatisk, når de underliggende data ændres, og som derfor egner sig til integration i outputartefakter fra datapipelines eller Git-repositorier.

Jupyter-notebooks kan eksporteres til HTML eller PDF ved hjælp af jupyter nbconvert --to html notebook.ipynb. Det bevarer alle diagrammer, al kode og alle markdown-celler i én fil, der kan deles, og som kan vises uden en Python-installation. I en fuldt automatiseret datapipeline kan du køre notebooken programmatisk med papermill: papermill input.ipynb output.ipynb -p date '2024-01-01', som parametriserer og udfører notebooken som et script.

Afsnittet anbefalede næste trin er ofte den mest læste del af en EDA-rapport. Strukturér det som en prioriteret tjekliste: P1 (blokerende) — problemer, der skal løses, før nogen analyse er gyldig (f.eks. forkert identificerede datatyper), P2 (vigtige) — handlinger til datarensning, der har væsentlig indvirkning på modellens ydeevne (f.eks. behandling af afvigende værdier), P3 (gode at have) — idéer til berigelse og yderligere datakilder, der kan undersøges. Denne inddeling gør det nemt for teamet at prioritere indsatsen korrekt.

ydata-profiling (pip install ydata-profiling) genererer en omfattende HTML-rapport med ét kald. Rapporten indeholder opsummerende statistikker, variabel-fordelinger, korrelationer, mønstre for manglende værdier og registrering af dubletter — alle afsnittene fra en manuel EDA-rapport. Brug det til hurtig udforskning i starten af et projekt, og skriv derefter en tilpasset opsummeringsrapport, der fremhæver de mest relevante resultater for dit specifikke forretningsspørgsmål.

Almindelige anti-mønstre i EDA-rapporter: at vise hvert diagram for hver kolonne (det skaber rapporter på 50 sider, som ingen læser — vælg de 5-10 vigtigste), at angive fakta uden fortolkning ('alder har 177 null-værdier' — hvad skal vi så gøre?), ikke at opdatere rapporten efter datarensning (rens dataene, og gentag derefter profileringen for at bekræfte, at problemerne er løst), samt at blande kode til datarensning ind i analysen (hold datarensningen adskilt fra EDA-fortællingen).

I denne lektion lærte du at strukturere EDA-rapporter i seks afsnit (overblik, kvalitet, fordelinger, korrelationer, indsigter om undergrupper, næste trin), generere opsummeringsfigurer med flere paneler og markdown-rapporter programmatisk samt omsætte statistiske resultater til forretningsrelevant sprog. Dernæst undersøger vi avancerede indekseringsteknikker — oprettelse af MultiIndex og hierarkisk udvælgelse i Pandas.