Pipelineruns plannen en loggen

Een pipeline die alleen draait wanneer een ontwikkelaar handmatig een notebook opent, levert na de eerste uitvoering geen zakelijke waarde meer. Om de pipeline elke dag automatisch uit te voeren, moet deze zijn opgebouwd als een Python-script dat vanaf de opdrachtregel kan worden uitgevoerd: python pipeline.py. Daarvoor zijn een if __name__ == '__main__':-ingangspunt, het parsen van opdrachtregelargumenten en correcte logging nodig — de drie pijlers van een productiescript.

De ingebouwde Python-module logging is het juiste hulpmiddel voor pipelinelogs — niet print(). Configureer een logger met zowel uitvoer naar de console als naar een bestand met logging.basicConfig(). Gebruik het niveau INFO voor normale voortgang en ERROR voor fouten. Logs in bestanden blijven bestaan nadat het proces is beëindigd. Dat is essentieel voor het debuggen van geplande uitvoeringen die niemand in de gaten hield.

Log altijd de begintijd, eindtijd en verstreken tijd van een pipeline-uitvoering. Zo leg je een referentiepunt vast: als de pipeline normaal 45 seconden duurt en vandaag 8 minuten nodig had, is er iets veranderd — misschien is het invoerbestand 10× groter of wordt een databasequery langzaam uitgevoerd. Tijdstempels bij het begin en einde maken deze vergelijking eenvoudig, alleen op basis van het logbestand.

Log het aantal rijen dat elke transformatiestap binnenkomt en verlaat. Een duidelijk log ziet er bijvoorbeeld zo uit: extract: 50.000 rijen → drop_nulls: 49.200 rijen → filter: 47.800 rijen → output: 47.800 rijen. Met deze tracering zie je onmiddellijk hoeveel rijen bij elke stap zijn verwijderd en of de aantallen kloppen. Afwijkende afnames vallen op als hiaten in de gelogde aantallen.

cron is de standaardplanner van Unix voor terugkerende taken. Bewerk de crontab met crontab -e en voeg een regel toe die aangeeft wanneer het script moet worden uitgevoerd. De indeling is: minuut uur dag maand weekdag opdracht. Een pipeline die elke dag om 6:00 uur moet draaien, gebruikt 0 6 * * * /usr/bin/python /path/to/pipeline.py. Gebruik in cronregels altijd absolute paden, omdat cron in een minimale omgeving draait zonder de PATH-instellingen van je shell.

De bibliotheek schedule biedt een manier in puur Python om taken op opgegeven intervallen uit te voeren zonder cron te gebruiken. Dit is handig in omgevingen waar cron niet beschikbaar is (Windows) of wanneer je de planningslogica in het Python-proces zelf wilt opnemen. Plaats de pipeline in een geplande taaklus en houd het proces actief om de taak herhaaldelijk uit te voeren.

Een pipelinescript moet een afsluitcode die niet nul is retourneren wanneer het mislukt, zodat de planner weet dat de taak is mislukt. Plaats de hoofdprogramma-uitvoering in een try/except-blok en roep bij een fout sys.exit(1) aan. cron, Jenkins en Airflow controleren de afsluitcode: een code die niet nul is, activeert een waarschuwing, nieuwe uitvoering of melding. Een onverwerkte uitzondering waarbij de afsluitcode niet wordt ingesteld, kan onopgemerkt blijven door geautomatiseerde monitoring.

Schrijf na een geslaagde uitvoering een klein JSON-samenvattingsbestand naast de uitvoer. Neem het tijdstip van de uitvoering, het aantal invoerrijen, het aantal uitvoerrijen, het aantal verwijderde rijen en de verstreken tijd op. Monitoringssystemen en dashboards kunnen dit bestand lezen om trends in de pipelinegezondheid in de loop van de tijd te volgen. Met een dashboard dat het aantal uitvoerrijen van de afgelopen 30 dagen toont, zie je eenvoudig op welke dag een gegevensbron minder records begon te leveren.

Als een geplande pipeline per ongeluk twee keer wordt gestart, mag de uitvoer niet beschadigd raken. Ontwerp de laadstap idempotent: gebruik een gedateerde bestandsnaam voor de uitvoer of overschrijf dezelfde uitvoer met het nieuwste resultaat. Gebruik voor het laden in databases if_exists='replace' of een UPSERT-patroon. Gebruik nooit de modus append zonder een deduplicatiestap, want elke geplande uitvoering voegt dan dubbele rijen toe aan de uitvoertabel.

Voor pijplijnen waarvan bedrijfsactiviteiten afhankelijk zijn, is stilte na een fout gevaarlijk. Stel een eenvoudige waarschuwing in: als het bestand met het uitvoeroverzicht niet binnen het verwachte tijdsvenster wordt bijgewerkt, stuur dan een e-mail of Slack-bericht. Met Python's smtplib kunt u bij een fout een e-mail versturen, of u kunt een webhook gebruiken om een bericht naar Slack te plaatsen. Waarschuw onmiddellijk bij afsluitcode 1 of 2, zodat de analist weet dat de dagelijkse vernieuwing is mislukt voordat het bedrijf dat merkt.

Combineer alle onderdelen — argumenten verwerken, logging configureren, een uitvoeroverzicht, foutafhandeling en afsluitcodes — tot een volledig pijplijnscript. U kunt dit script in elke omgeving plaatsen, naar een configuratiebestand laten verwijzen en met cron of een workfloworkestrator plannen. Bij elke uitvoering maakt het een gedateerd logbestand, een uitvoeroverzicht en een gedateerd uitvoerbestand, zodat elke uitvoering volledig controleerbaar en onafhankelijk reproduceerbaar is.

In deze les hebt u geleerd hoe u: een pijplijn structureert als een opdrachtregel-script met verwerking van argumenten en logging, taken plant met cron en fouten afhandelt met niet-nul afsluitcodes en waarschuwingen, en bestanden met uitvoeroverzichten schrijft en idempotente laadstappen ontwerpt voor betrouwbare geautomatiseerde uitvoering. Gefeliciteerd met het voltooien van het traject Data Analysis: Pandas and NumPy!