Sammanfatta resultat i en rapport

Råa Jupyter-anteckningsböcker med hundratals diagram och kodceller är svåra att dela med intressenter som behöver agera utifrån resultaten. En strukturerad EDA-sammanfattningsrapport destillerar de viktigaste insikterna från all er univariata och bivariata analys till en tydlig berättelse. Bra rapporter skiljer resultat (vad data visar) från konsekvenser (vad ni bör göra åt det) och innehåller stödjande visualiseringar endast för centrala påståenden.

En professionell EDA-rapport innehåller vanligtvis sex avsnitt: 1) Översikt över datamängden (form, källa, tidsperiod), 2) Problem med datakvaliteten (saknade värden, avvikare, dubbletter och hur de hanterats), 3) Fördelningar för viktiga variabler (de viktigaste numeriska och kategoriska kolumnerna), 4) Korrelationer och samband (de starkaste sambanden som hittats), 5) Insikter om undergrupper (gruppskillnader som är viktiga för verksamhetsfrågan) samt 6) Rekommenderade nästa steg (åtgärder för datarensning och förslag på modellering).

Översiktsavsnittet bör genereras programmatiskt för att alltid vara korrekt. Samla in form, kolumnnamn och datatyper, datumintervall (om tillämpligt) samt datamängdens källa eller version. Om ni skriver detta avsnitt i kod i stället för löptext undviker ni det vanliga felet att beskriva en datamängd med 10 000 rader i en rapport som i själva verket genererades från en rensad version med 9 800 rader.

Avsnittet om datakvalitet listar alla problem som hittats och vilket beslut som fattats för varje problem. Använd tabellformat med kolumnerna: Kolumn, Problem, Allvarlighetsgrad (hög/medel/låg), Vidtagen åtgärd. Beräkna tabellen programmatiskt från profileringsresultaten så att den uppdateras automatiskt när data ändras. Allvarlighetsgraden bör återspegla verksamhetens påverkan – en saknad målvariabel har hög allvarlighetsgrad, medan en saknad icke-prediktiv kolumn kan ha låg.

En sammanfattningsfigur kombinerar flera diagram i en bild som kan bäddas in i en rapport. Använd plt.subplots(rows, cols) för att skapa ett rutnät och tilldela varje viktigt resultat en egen panel. Spara figuren med savefig() och en DPI som passar utdataformatet (150 för skärm, 300 för utskrift). Ge varje panel en tydlig resultatrubrik, till exempel 'Biljettpriserna är högerskevfördelade (skevhet=4.1)', i stället för att bara ange kolumnnamnet.

Varje viktigt resultat bör formuleras som en verksamhetsrelevant mening, inte som en teknisk beskrivning. I stället för 'Kolumnen fare har skevhet=4.1' kan ni skriva 'Biljettpriserna är extremt högerskevfördelade – ett litet antal förstaklasspassagerare betalade mer än 10 gånger medianpriset, vilket kan snedvrida intäktsanalyser som använder genomsnittspriser.' Det är denna översättning från statistisk observation till verksamhetskonsekvens som gör EDA-rapporter värdefulla för icke-tekniska intressenter.

Ni kan skriva EDA-rapporter som markdown-filer direkt från Python. Skapa en sträng som innehåller markdown-rubriker, punktlistor och inbäddade bildlänkar och skriv den sedan till en .md-fil. Detta tillvägagångssätt skapar reproducerbara rapporter som uppdateras automatiskt när underliggande data ändras, vilket gör dem lämpliga för integrering i utdataartefakter från datapipelines eller Git-arkiv.

Jupyter-anteckningsböcker kan exporteras till HTML eller PDF med jupyter nbconvert --to html notebook.ipynb. Detta bevarar alla diagram, all kod och alla markdown-celler i en enda delbar fil som kan visas utan att Python behöver vara installerat. För en helt automatiserad pipeline kan ni köra anteckningsboken programmatiskt med papermill: papermill input.ipynb output.ipynb -p date '2024-01-01', vilket parameteriserar och kör anteckningsboken som ett skript.

Avsnittet rekommenderade nästa steg är ofta den mest lästa delen av en EDA-rapport. Strukturera det som en prioriterad checklista: P1 (blockerande) – problem som måste åtgärdas innan någon analys är giltig (t.ex. felaktigt identifierade datatyper), P2 (viktiga) – åtgärder för datarensning som påverkar modellens prestanda avsevärt (t.ex. hantering av avvikare), P3 (bra att ha) – idéer för berikning och ytterligare datakällor att undersöka. Denna struktur gör det enkelt för teamet att fördela arbetet på lämpligt sätt.

ydata-profiling (pip install ydata-profiling) genererar en omfattande HTML-rapport med ett enda anrop. Rapporten innehåller översiktsstatistik, variabelfördelningar, korrelationer, mönster för saknade värden och identifiering av dubbletter – alla avsnitt i en manuell EDA-rapport. Använd det för snabb utforskning i början av ett projekt och skriv sedan en anpassad sammanfattningsrapport som lyfter fram de mest relevanta resultaten för er specifika verksamhetsfråga.

Vanliga antimönster i EDA-rapporter är: att visa varje diagram för varje kolumn (det skapar rapporter på 50 sidor som ingen läser – välj ut de 5–10 viktigaste), att ange fakta utan tolkning ('age har 177 null-värden' – vad bör ni göra åt det?), att inte uppdatera rapporten efter datarensning (rensa data och gör sedan om profileringen för att bekräfta att problemen har lösts) samt att blanda in rensningskod i analysen (håll datarensningen åtskild från EDA-berättelsen).

I den här lektionen lärde ni er att strukturera EDA-rapporter i sex avsnitt (översikt, kvalitet, fördelningar, korrelationer, insikter om undergrupper och nästa steg), generera sammanfattningsfigurer med flera paneler och markdown-rapporter programmatiskt samt översätta statistiska resultat till verksamhetsrelevant språk. Nästa steg är avancerade indexeringstekniker – att skapa MultiIndex och göra hierarkiska urval i Pandas.