Validazione dello schema e asserzioni

Una pipeline di dati elabora automaticamente nuovi dati, spesso senza alcuna revisione umana. Se lo schema del file di input cambia — una colonna viene rinominata, il formato di una data varia oppure compare una nuova categoria — la pipeline dovrebbe fallire in modo evidente invece di produrre un output errato senza segnalarlo. La convalida dello schema tramite asserzioni è il meccanismo che impone i contratti tra produttori e consumatori di dati, rilevando i problemi nel momento più precoce possibile.

La convalida più fondamentale consiste nel verificare che siano presenti tutte le colonne obbligatorie. Memorizzi l'insieme di colonne previsto nella configurazione e verifichi con un'asserzione che sia un sottoinsieme delle colonne effettive. Questo controllo rileva immediatamente rinominazioni e rimozioni all'avvio della pipeline, prima che il codice a valle tenti di accedere a colonne mancanti generando un errore KeyError difficile da interpretare nel mezzo della pipeline.

Dopo aver verificato le colonne obbligatorie, convalidi i relativi tipi di dati. Una colonna di date caricata come object indica che non è stato chiamato pd.to_datetime(). Una colonna di identificativi memorizzata come float invece di int64 indica spesso la presenza di valori NaN che ha impedito la memorizzazione come interi. Scriva asserzioni sui tipi utilizzando assert df['col'].dtype == expected_type per le colonne più importanti.

Le colonne chiave come order_id, order_date e revenue non dovrebbero mai contenere valori nulli. Per ciascuna di esse verifichi df['col'].notna().all(). Per rendere il messaggio dell'asserzione utile all'azione, includa il numero di valori nulli, così l'operatore della pipeline conoscerà l'entità del problema e non soltanto il fatto che un'asserzione non è stata soddisfatta.

Le colonne numeriche hanno spesso intervalli validi definiti dalle regole aziendali. Il ricavo non può essere negativo. La quantità deve essere un intero positivo. Il prezzo unitario deve essere maggiore di zero. Verifichi esplicitamente questi vincoli: una riga con ricavo negativo che superi i controlli ridurrà i totali in ogni aggregazione successiva senza generare errori. I controlli dell'intervallo rilevano tempestivamente gli errori di inserimento e i bug dei sistemi a monte.

Dopo la deduplicazione, order_id dovrebbe essere univoco. Verifichi df['order_id'].is_unique per assicurarsi che questo invariante venga mantenuto a ogni esecuzione della pipeline. Le violazioni dell'univocità dopo la deduplicazione indicano un bug nella logica di deduplicazione oppure una nuova origine dati che non è stata pulita prima dell'unione con il dataset principale.

Per le colonne con un insieme finito di valori validi, come region o category, verifichi che ogni valore appartenga all'insieme consentito. In questo modo vengono rilevati valori anomali comparsi dopo una migrazione del sistema o una modifica nell'inserimento dei dati a monte. Definisca gli insiemi validi nella configurazione della pipeline, così sarà facile aggiornarli quando l'azienda si espanderà in nuove regioni.

Verifichi che tutte le date rientrino nel periodo previsto per il dataset. Un ordine datato nel futuro è impossibile; un ordine precedente alla fondazione dell'azienda indica un record danneggiato. Definisca MIN_DATE e MAX_DATE nella configurazione e verifichi con un'asserzione che la colonna rientri nei limiti. Questo controllo rileva anche le date all'epoca Unix (1970-01-01) dovute a conversioni errate dei timestamp.

Una variazione improvvisa nel numero di righe rispetto alla precedente esecuzione della pipeline è un forte segnale di un problema a monte. Memorizzi il numero di righe dell'esecuzione precedente in un file di configurazione e verifichi con un'asserzione che il nuovo conteggio rientri in un intervallo di tolleranza, ad esempio entro ±20% del conteggio storico. Un dataset che perde il 50% delle righe tra due esecuzioni indica quasi certamente un'esportazione dei dati non funzionante.

Raccolga tutte le asserzioni in un'unica funzione validate(df), che possa essere chiamata all'inizio di ogni fase della pipeline. Ogni controllo genera un AssertionError con un messaggio descrittivo se non viene superato. Questo modello rende la pipeline auto-documentante: la funzione di convalida costituisce il contratto dello schema, leggibile dalla macchina, per il DataFrame in quella fase.

Nelle pipeline di produzione, un arresto causato da un assert è accettabile durante lo sviluppo, ma è indesiderabile in un processo pianificato. Sostituisca le asserzioni isolate con blocchi try/except AssertionError che registrino il messaggio di errore e, facoltativamente, inviino un avviso prima di terminare. In questo modo il sistema di monitoraggio può acquisire il motivo dell'errore, invece di ricevere soltanto un traceback di eccezione non gestita.

Verifichi la Sua comprensione dei concetti di analisi dei dati trattati in questa lezione.

In questa lezione ha imparato a: verificare con asserzioni le colonne obbligatorie, i dtypes, i vincoli sui valori non nulli e la validità degli intervalli, controllare le chiavi univoche, i valori categoriali e gli intervalli delle date e racchiudere tutti i controlli in una funzione validate() riutilizzabile con registrazione degli errori. Nel prossimo argomento esamineremo le aggregazioni personalizzate utilizzando apply() su colonne e righe.