Schemaläggning och loggning av pipelinekörningar

En pipeline som bara körs när en utvecklare manuellt öppnar en notebook ger inget större verksamhetsvärde efter den första körningen. För att köras automatiskt varje dag måste pipelinen struktureras som ett Python-skript som kan köras från kommandoraden: python pipeline.py. Det kräver en startpunkt med if __name__ == '__main__':, tolkning av kommandoradsargument och korrekt loggning – de tre grundpelarna i ett produktionsskript.

Pythons inbyggda modul logging är rätt verktyg för pipelineloggar – inte print()-satser. Konfigurera en logger med både utdata till konsolen och utdata till fil med logging.basicConfig(). Logga på nivån INFO för normala förlopp och ERROR för fel. Filbaserade loggar finns kvar efter att processen avslutats, vilket är avgörande vid felsökning av schemalagda körningar som ingen övervakade.

Logga alltid starttid, sluttid och förfluten tid för en pipelinekörning. Det skapar en referenspunkt: om pipelinen normalt körs på 45 sekunder men tog 8 minuter i dag har något förändrats – kanske är indatafilen 10× större eller så körs en databasfråga långsamt. Tidsstämplade loggposter för start och slut gör det enkelt att jämföra detta direkt i loggfilen.

Logga radantalet som kommer in i och lämnar varje transformationssteg. En tydlig logg kan se ut så här: extract: 50,000 rows → drop_nulls: 49,200 rows → filter: 47,800 rows → output: 47,800 rows. Med den här spårningen blir det direkt tydligt hur många rader som togs bort i varje steg och om siffrorna är förväntade. Avvikande bortfall syns som luckor i de loggade antalen.

cron är Unix-standardschemaläggaren för återkommande jobb. Redigera crontab med crontab -e och lägg till en rad som anger när skriptet ska köras. Formatet är: minute hour day month weekday command. En pipeline som måste köras klockan 06.00 varje dag använder 0 6 * * * /usr/bin/python /path/to/pipeline.py. Använd alltid absoluta sökvägar i cron-poster, eftersom cron körs i en begränsad miljö utan skalets PATH-inställningar.

Biblioteket schedule erbjuder ett sätt att köra jobb med angivna intervall, helt i Python och utan att använda cron. Det är användbart i miljöer där cron inte är tillgängligt (Windows) eller när ni vill ha schemaläggningslogiken inne i själva Python-processen. Omslut pipelinen i en schemalagd jobbslinga och låt processen fortsätta köras så att jobbet kan utföras upprepade gånger.

Ett pipelineskript bör returnera en avslutskod som inte är noll när det misslyckas, så att schemaläggaren vet att jobbet misslyckades. Omslut huvudkörningen i ett try/except-block och anropa sys.exit(1) vid fel. cron, Jenkins och Airflow kontrollerar alla avslutskoden: en kod som inte är noll utlöser en avisering, en ny körning eller en notifikation. Ett ohanterat undantag som inte anger avslutskoden kan förbli oupptäckt av automatiserad övervakning.

Skriv efter en lyckad körning en liten JSON-sammanfattningsfil bredvid resultatet. Ta med tidsstämpel för körningen, antal rader i indata, antal rader i utdata, antal borttagna rader och förfluten tid. Övervakningssystem och instrumentpaneler kan läsa den här filen för att följa trender i pipelinens hälsa över tid. En instrumentpanel som visar antalet utdataposter under de senaste 30 dagarna gör det enkelt att se vilken dag en datakälla började leverera färre poster.

Om en schemalagd pipeline råkar startas två gånger ska den inte förstöra resultatet. Utforma laddningssteget så att det är idempotent: använd ett daterat filnamn för resultatet eller skriv över samma resultat med den senaste körningen. För databasladdningar kan ni använda if_exists='replace' eller ett UPSERT-mönster. Använd aldrig läget append utan ett dedupliceringssteg, annars lägger varje schemalagd körning till duplicerade rader i resultattabellen.

För pipelines som verksamheten är beroende av är tystnad efter ett fel farlig. Konfigurera en enkel avisering: om filen med körningssammanfattningen inte uppdateras inom det förväntade tidsintervallet skickar ni ett e-postmeddelande eller ett Slack-meddelande. Pythons smtplib kan skicka ett e-postmeddelande vid fel, eller så kan ni använda en webhook för att publicera ett meddelande i Slack. Skicka en avisering direkt vid avslutskod 1 eller 2, så att analytikern vet att den dagliga uppdateringen misslyckades innan verksamheten upptäcker det.

Slå ihop alla delar — argumenttolkning, loggningskonfiguration, körningssammanfattning, felhantering och avslutskoder — till ett komplett pipelineskript. Skriptet kan läggas in i valfri miljö, kopplas till en konfigurationsfil och schemaläggas med cron eller valfri arbetsflödesorkestrerare. Vid varje körning skapar det en daterad loggfil, en körningssammanfattning och en daterad utdatafil, vilket gör varje körning fullt granskningsbar och oberoende reproducerbar.

I den här lektionen har ni lärt er: att strukturera en pipeline som ett kommandoradsskript med argumenttolkning och loggning, att schemalägga med cron och hantera fel med avslutskoder som inte är noll samt aviseringar, och att skriva filer med körningssammanfattningar och utforma idempotenta laddningssteg för tillförlitlig automatiserad körning. Grattis till att ni har slutfört spåret Dataanalys: Pandas och NumPy!