Bevindingen samenvatten in een rapport

Ruwe Jupyter-notebooks met honderden diagrammen en codecellen zijn lastig te delen met belanghebbenden die op basis van de bevindingen actie moeten ondernemen. Een gestructureerd EDA-samenvattingsrapport destilleert de belangrijkste inzichten uit al uw univariate en bivariate analyses tot een duidelijk verhaal. Goede rapporten maken onderscheid tussen bevindingen (wat de gegevens laten zien) en implicaties (wat u daarmee moet doen) en bevatten alleen visualisaties die belangrijke beweringen ondersteunen.

Een professioneel EDA-rapport bevat doorgaans zes onderdelen: 1) Overzicht van de gegevensset (vorm, bron, periode), 2) Problemen met de gegevenskwaliteit (ontbrekende waarden, uitschieters, duplicaten en de aanpak daarvan), 3) Verdelingen van belangrijke variabelen (de belangrijkste numerieke en categorische kolommen), 4) Correlaties en verbanden (de sterkste gevonden relaties), 5) Inzichten per subgroep (groepsverschillen die relevant zijn voor de bedrijfsvraag), en 6) Aanbevolen vervolgstappen (opschoningsacties, modelleringssuggesties).

Het overzicht moet programmatisch worden gegenereerd, zodat het altijd accuraat is. Leg de vorm, kolomnamen en gegevenstypen vast, evenals het datumbereik (indien van toepassing) en de bron of versie van de gegevensset. Als u dit onderdeel in code schrijft in plaats van als proza, voorkomt u de veelvoorkomende fout waarbij een rapport een gegevensset met 10.000 rijen beschrijft, terwijl het in werkelijkheid is gegenereerd op basis van een opgeschoonde versie met 9.800 rijen.

Het onderdeel over gegevenskwaliteit vermeldt elk gevonden probleem en de genomen beslissing. Gebruik een tabel met de kolommen: Kolom, Probleem, Ernst (Hoog/Middel/Laag), Genomen actie. Bereken deze tabel programmatisch op basis van de profileringsresultaten, zodat deze automatisch wordt bijgewerkt wanneer de gegevens veranderen. De ernst moet de bedrijfsimpact weerspiegelen — een ontbrekende doelvariabele heeft een hoge ernst, terwijl een ontbrekende kolom die niet voorspellend is een lage ernst kan hebben.

Een samenvattende figuur combineert meerdere diagrammen in één afbeelding die in een rapport kan worden opgenomen. Gebruik plt.subplots(rows, cols) om een raster te maken en geef elke belangrijke bevinding een eigen paneel. Sla de figuur op met savefig() en een DPI die past bij het uitvoerformaat (150 voor een scherm, 300 voor drukwerk). Geef elk paneel een duidelijke formulering van de bevinding als titel, zoals 'Tarief is rechts-scheef (scheefheid=4.1)', in plaats van alleen de kolomnaam.

Elke belangrijke bevinding moet worden geformuleerd als een bedrijfselevante zin, niet als een technische beschrijving. Schrijf in plaats van 'De tariefkolom heeft scheefheid=4.1' bijvoorbeeld 'Ticketprijzen zijn extreem rechts-scheef — een klein aantal eersteklaspassagiers betaalde meer dan 10× het mediane tarief, wat omzetanalyses op basis van gemiddelde prijzen kan vertekenen.' Deze vertaling van een statistische waarneming naar een bedrijfsimplicatie maakt EDA-rapporten waardevol voor niet-technische belanghebbenden.

U kunt EDA-rapporten rechtstreeks vanuit Python schrijven als markdownbestanden. Maak een tekenreeks met markdownkoppen, opsommingstekens en ingesloten afbeeldingskoppelingen en schrijf die vervolgens naar een .md-bestand. Met deze aanpak maakt u reproduceerbare rapporten die automatisch worden bijgewerkt wanneer de onderliggende gegevens veranderen. Daardoor zijn ze geschikt voor integratie in uitvoerartefacten van een gegevenspijplijn of in Git-opslagplaatsen.

Jupyter-notebooks kunnen naar HTML of PDF worden geëxporteerd met jupyter nbconvert --to html notebook.ipynb. Hierbij blijven alle diagrammen, code en markdowncellen behouden in één deelbaar bestand dat u zonder Python-installatie kunt bekijken. Voer voor een volledig geautomatiseerde gegevenspijplijn het notebook programmatisch uit met papermill: papermill input.ipynb output.ipynb -p date '2024-01-01'. Hiermee wordt het notebook als script geparametriseerd en uitgevoerd.

Het onderdeel aanbevolen vervolgstappen wordt vaak het meest gelezen in een EDA-rapport. Structureer het als een geprioriteerde checklist: P1 (blokkerend) — problemen die moeten worden opgelost voordat een analyse geldig is (bijvoorbeeld verkeerd geïdentificeerde gegevenstypen), P2 (belangrijk) — opschoningsacties die de modelprestaties aanzienlijk beïnvloeden (bijvoorbeeld de behandeling van uitschieters), P3 (goed om te hebben) — ideeën voor verrijking en aanvullende gegevensbronnen om te onderzoeken. Met deze indeling kan het team eenvoudig de inspanning op de juiste manier verdelen.

ydata-profiling (pip install ydata-profiling) genereert met één aanroep een uitgebreid HTML-rapport. Het rapport bevat overzichtsstatistieken, variabeleverdelingen, correlaties, patronen van ontbrekende waarden en detectie van duplicaten — alle onderdelen van een handmatig EDA-rapport. Gebruik het voor snelle verkenning aan het begin van een project en schrijf daarna een aangepast samenvattingsrapport om de meest relevante bevindingen voor uw specifieke bedrijfsvraag uit te lichten.

Veelvoorkomende antipatronen in EDA-rapporten zijn: elk diagram voor elke kolom tonen (dit levert rapporten van 50 pagina's op die niemand leest — selecteer de 5 tot 10 belangrijkste), feiten zonder interpretatie vermelden ('leeftijd heeft 177 null-waarden' — wat moeten we daarmee doen?), het rapport na het opschonen niet vernieuwen (opschonen, daarna de profilering opnieuw uitvoeren om te bevestigen dat de problemen zijn opgelost), en opschoningscode met de analyse vermengen (houd het opschonen van gegevens gescheiden van het EDA-verhaal).

In deze les hebt u geleerd EDA-rapporten op te delen in zes onderdelen (overzicht, kwaliteit, verdelingen, correlaties, inzichten per subgroep, vervolgstappen), samenvattende figuren met meerdere panelen en markdownrapporten programmatisch te genereren, en statistische bevindingen te vertalen naar bedrijfselevante taal. Hierna verkennen we geavanceerde indexeringstechnieken — het maken van MultiIndex-objecten en hiërarchische selectie in Pandas.