Planlegge og loggføre pipelinekjøringer

En pipeline som bare kjører når en utvikler åpner en notebook manuelt, gir ingen forretningsverdi utover den første kjøringen. For å kjøre automatisk hver dag må pipelinen struktureres som et Python-skript som kan kjøres fra kommandolinjen: python pipeline.py. Dette krever et if __name__ == '__main__':-inngangspunkt, behandling av kommandolinjeargumenter og riktig logging – de tre grunnpilarene i et produksjonsskript.

Den innebygde Python-modulen logging er riktig verktøy for pipelinelogger – ikke print()-setninger. Konfigurer en logger med både konsoll- og filutdata ved hjelp av logging.basicConfig(). Logg på nivået INFO for normal fremdrift og ERROR ved feil. Filbaserte logger bevares etter at prosessen avsluttes, noe som er avgjørende for feilsøking av planlagte kjøringer som ingen fulgte med på.

Logg alltid starttidspunkt, sluttidspunkt og medgått tid for en pipeline-kjøring. Dette etablerer et utgangspunkt: Hvis pipelinen vanligvis kjører på 45 sekunder, men i dag brukte 8 minutter, har noe endret seg – kanskje inndatafilen er 10× større, eller et databasespørring kjører sakte. Tidsstemplete loggoppføringer for start og slutt gjør denne sammenligningen enkel, kun ved hjelp av loggfilen.

Logg radantallet som kommer inn i og går ut av hvert transformasjonstrinn. En oversiktlig logg kan se slik ut: extract: 50,000 rows → drop_nulls: 49,200 rows → filter: 47,800 rows → output: 47,800 rows. Dette sporet viser umiddelbart hvor mange rader som ble fjernet i hvert trinn, og om tallene er som forventet. Uvanlig store reduksjoner vises som avvik i de loggførte tallene.

cron er standardplanleggeren i Unix for gjentakende jobber. Rediger crontab med crontab -e og legg til en linje som angir når skriptet skal kjøres. Formatet er: minutt time dag måned ukedag kommando. En pipeline som skal kjøre kl. 06:00 hver dag, bruker 0 6 * * * /usr/bin/python /path/to/pipeline.py. Bruk alltid absolutte stier i cron-oppføringer, fordi cron kjører i et minimalt miljø uten PATH-innstillingene fra skallet.

schedule-biblioteket tilbyr en måte å kjøre jobber med angitte intervaller på, utelukkende ved hjelp av Python og uten å berøre cron. Det er nyttig i miljøer der cron ikke er tilgjengelig (Windows), eller når De ønsker planleggingslogikken inne i selve Python-prosessen. Pakk inn pipelinen i en planlagt jobbløkke, og la prosessen kjøre slik at jobben kan utføres gjentatte ganger.

Et pipelineskript bør returnere en avslutningskode som ikke er null, når det mislykkes, slik at planleggeren vet at jobben feilet. Pakk hovedkjøringen inn i en try/except-blokk, og kall sys.exit(1) ved feil. cron, Jenkins og Airflow kontrollerer alle avslutningskoden: En kode som ikke er null, utløser et varsel, en ny kjøring eller en varsling. Et ubehandlet unntak som ikke setter avslutningskoden, kan gå ubemerket hen av automatisert overvåking.

Etter en vellykket kjøring bør De skrive en liten JSON-sammendragsfil ved siden av resultatet. Ta med tidspunktet for kjøringen, antall rader i inndataene, antall rader i resultatet, antall fjernede rader og medgått tid. Overvåkingssystemer og kontrollpaneler kan lese denne filen for å følge utviklingen i pipeline-helsen over tid. Et kontrollpanel som viser resultatrader de siste 30 dagene, gjør det enkelt å oppdage dagen da en datakilde begynte å levere færre poster.

Hvis en planlagt pipeline startes to ganger ved et uhell, bør den ikke ødelegge resultatet. Utform lastetrinnet slik at det er idempotent: Bruk et datert filnavn for resultatet, eller overskriv det samme resultatet med den nyeste versjonen. Ved lasting til databaser kan De bruke if_exists='replace' eller et UPSERT-mønster. Bruk aldri append-modus uten et dedupliseringstrinn, ellers vil hver planlagte kjøring legge til dupliserte rader i resultattabellen.

For pipelines som virksomheten er avhengig av, er stillhet etter en feil farlig. Sett opp et enkelt varsel: Hvis filen med kjøringsoppsummeringen ikke blir oppdatert innenfor det forventede tidsvinduet, sender De en e-post eller Slack-melding. Python's smtplib kan sende en e-post ved feil, eller De kan bruke en webhook til å publisere en melding i Slack. Varsle umiddelbart ved avslutningskode 1 eller 2, slik at analytikeren vet at den daglige oppdateringen uteble før virksomheten oppdager det.

Kombiner alle delene — argumenttolking, loggkonfigurasjon, kjøringsoppsummering, feilhåndtering og avslutningskoder — til et fullstendig pipelineskript. Dette skriptet kan tas i bruk i ethvert miljø, kobles til en konfigurasjonsfil og planlegges med cron eller en hvilken som helst arbeidsflytorkestrator. Det produserer en datert loggfil, en kjøringsoppsummering og en datert utdatafil ved hver kjøring, slik at hver kjøring kan revideres fullstendig og gjenskapes uavhengig.

I denne leksjonen har De lært: å strukturere en pipeline som et kommandolinjeskript med argumenttolking og logging, å planlegge kjøringer med cron og håndtere feil med avslutningskoder som ikke er null, samt varsler, og å skrive filer med kjøringsoppsummeringer og utforme idempotente innlastingstrinn for pålitelig automatisert kjøring. Gratulerer med å ha fullført sporet Data Analysis: Pandas and NumPy!