Analizzare correttamente le date

I dati relativi a date e orari sono onnipresenti nei dataset reali: timestamp delle transazioni, date di nascita, log degli eventi e periodi finanziari. Quando le date sono memorizzate come stringhe (dtype object), non è possibile calcolare durate, ricampionare per mese o ordinare cronologicamente. Convertire le stringhe nel dtype datetime64 di Pandas consente di usare l’intera API delle serie temporali e rende possibile l’analisi temporale.

pd.to_datetime(series) è la funzione principale per convertire le colonne stringa in datetime64. È abbastanza intelligente da riconoscere automaticamente la maggior parte dei formati di data comuni (ISO 8601, formato statunitense, formato europeo) senza richiedere una stringa di formato. Il risultato è una Series con dtype datetime64[ns], con precisione al nanosecondo e in grado di memorizzare timestamp dal 1677 al 2262.

Quando l’inferenza automatica è troppo lenta o ambigua (ad esempio, '01-02-03' potrebbe indicare il 2 gennaio 2003, il 1° febbraio 2003 oppure il 3 febbraio 2001), fornisca la stringa di formato esatta usando i codici strftime di Python. È anche notevolmente più veloce: sui dataset di grandi dimensioni, l’analisi con un formato esplicito può essere 10 volte più rapida dell’inferenza automatica, perché Pandas non deve provare più modelli.

I dataset reali contengono spesso refusi o stringhe segnaposto come 'TBD', 'N/A' o '99/99/9999' nelle colonne delle date. Passare errors='coerce' indica a pd.to_datetime() di convertire i valori non analizzabili in NaT (Not a Time, l’equivalente di NaN per i datetime) invece di generare un’eccezione. In questo modo può identificare e gestire separatamente le date non valide.

Il punto più efficiente in cui analizzare le date è il momento del caricamento, usando il parametro parse_dates di pd.read_csv(). Passi un elenco di nomi di colonne (o indici) che devono essere analizzati come date. Questo evita un passaggio separato di post-elaborazione ed è spesso più veloce, perché Pandas gestisce l’operazione durante l’analisi CSV a livello C.

Quando una colonna ha il dtype datetime64, l’accessor .dt mette a disposizione decine di proprietà e metodi. Può estrarre .dt.year, .dt.month, .dt.day, .dt.hour, .dt.dayofweek (0=lunedì) e .dt.is_month_end. Questi strumenti vengono usati per la feature engineering nelle previsioni delle serie temporali e per raggruppare i dati per periodo.

Nell’analisi delle serie temporali, è prassi standard impostare la colonna datetime come indice del DataFrame. Con un DatetimeIndex può usare il filtraggio basato sul tempo (df['2024'], df['2024-01':'2024-06']), ricampionare a qualsiasi frequenza e accedere all’intera API delle serie temporali di Pandas. Usi set_index() oppure passi index_col a read_csv.

Se una colonna di date contiene un insieme di formati (ad esempio, alcune righe contengono date ISO e altre date in formato statunitense), non può specificare un’unica stringa di formato. Passi format='mixed' (Pandas 2.0 o versioni successive) per consentire il rilevamento del formato riga per riga, oppure esegua una pre-pulizia della colonna con regex per normalizzare tutte le date in un unico formato prima di chiamare pd.to_datetime().

I timestamp del mondo reale spesso includono informazioni sul fuso orario. pd.to_datetime() può analizzare stringhe con offset UTC (ad esempio, '2024-01-15 08:30:00+05:30') e memorizzarle come datetime64 con fuso orario. Usi .dt.tz_convert('UTC') per normalizzare tutti i timestamp a un fuso orario comune, così da eseguire confronti e calcoli corretti.

L’aritmetica tra due colonne datetime64 produce una Series di tipo Timedelta. Può estrarre il numero di giorni, ore o secondi da un Timedelta usando le proprietà .dt.days, .dt.seconds e .dt.total_seconds(). Questo è il modo standard per calcolare l’età, la durata o il numero di giorni dall’ultimo evento come feature.

pd.date_range(start, end, freq=) genera una sequenza di date equidistanti come DatetimeIndex. È utile per creare una griglia temporale completa sulla quale riallineare i dati, assicurando che ogni periodo del calendario compaia nell’output anche quando in quel giorno non si sono verificati eventi. Valori comuni di freq: 'D' (giornaliero), 'ME' (fine mese), 'h' (orario).

In questa lezione ha imparato che pd.to_datetime() converte le colonne stringa in datetime64, format= specifica il modello esatto per ottenere maggiore velocità e precisione, mentre errors='coerce' trasforma le date non valide in NaT invece di causare un errore. L’accessor .dt estrae l’anno, il mese, il giorno e altri componenti, mentre l’impostazione di un DatetimeIndex abilita il filtraggio basato sul tempo. Ora vedremo l’accessor .str per le operazioni vettorializzate sulle stringhe.