Shift e variabili ritardate

Nell'analisi delle serie temporali, il valore del periodo precedente (un ritardo) è spesso uno dei migliori predittori del valore attuale. Ad esempio, le vendite di ieri forniscono informazioni utili sulle vendite di oggi. La creazione di colonne con valori ritardati consente di usare i valori storici come caratteristiche nei modelli di machine learning o nell'analisi statistica dell'autocorrelazione. Pandas fornisce shift() per creare variabili ritardate con un'unica chiamata vettorializzata.

Series.shift(n) sposta tutti i valori verso il basso di n posizioni (un valore positivo di n crea un ritardo), riempiendo le prime n righe con NaN. Passando un valore negativo di n, sposta i valori verso l'alto (crea un anticipo, riportando i valori futuri alla riga corrente). L'indice rimane invariato: vengono spostati solo i valori.

In genere, per il machine learning si creano contemporaneamente diverse feature lag: lag-1, lag-7 (lo stesso giorno della settimana precedente) e lag-30 (lo stesso giorno del mese precedente). Il modo più leggibile consiste nel crearle in un ciclo e assegnare ciascuna a una nuova colonna. Il DataFrame risultante contiene la serie originale e tutte le relative versioni ritardate, pronte per la modellazione.

Anziché spostare i dati di un numero intero di righe, è possibile spostarli in base a un intervallo temporale usando il parametro freq. df.shift(1, freq='ME') sposta l'indice in avanti di una fine mese, lasciando invariati i valori ma modificando l'indice. È utile per allineare due serie temporali sfalsate di un intervallo fisso senza riordinare i valori.

Series.diff(n) calcola la differenza tra un valore e quello che si trova n posizioni prima: x[t] - x[t-n]. Viene comunemente usato per calcolare le variazioni giorno su giorno, le differenze settimana su settimana o le variazioni anno su anno. Le prime n righe contengono NaN, perché non esistono valori precedenti da sottrarre.

Series.pct_change(n) calcola la variazione percentuale relativa: (x[t] - x[t-n]) / x[t-n]. È essenziale per l'analisi finanziaria (rendimenti giornalieri), il calcolo dei tassi di crescita e tutte le situazioni in cui la variazione assoluta è meno significativa di quella relativa. Moltiplichi il risultato per 100 per ottenere la variazione percentuale.

È possibile combinare shift() con le operazioni aritmetiche per calcolare feature temporali derivate. Ad esempio: il rapporto tra il valore odierno e quello della settimana precedente, la somma cumulativa a partire da un inizio stabilito o la differenza rispetto al valore di un anno prima. Tutti questi casi seguono lo stesso schema: si sposta la serie originale e si eseguono operazioni aritmetiche elemento per elemento con i valori correnti.

Series.cumsum() calcola il totale progressivo dalla prima riga fino a ciascuna riga, mentre Series.cumprod() calcola il prodotto cumulativo. Sono utili per i ricavi cumulativi, i rendimenti cumulativi (crescita composta) e i totali da inizio anno. Non richiedono argomenti e funzionano con qualsiasi Series numerica o colonna numerica di un DataFrame.

Quando prepara dati di serie temporali per il machine learning, un passaggio standard di feature engineering consiste nel creare una matrice di feature lag. Ogni colonna rappresenta la variabile obiettivo in un diverso istante passato. Dopo aver creato i lag, elimini le righe contenenti NaN (che compaiono all'inizio perché manca lo storico) e suddivida i dati in set di addestramento e di test senza mescolarli, rispettando l'ordine temporale.

Quando i dati contengono più entità (ad esempio più prodotti o aree geografiche in un unico DataFrame), deve calcolare gli spostamenti all'interno di ciascun gruppo di entità, separatamente. Usi groupby().shift() per assicurarsi che il lag della prima riga del prodotto A sia NaN e non l'ultimo valore del prodotto B. Mescolare i gruppi senza questo passaggio è un errore comune e subdolo di data leakage.

Un valore positivo di pct_change() indica che il valore corrente è maggiore di quello precedente; un valore negativo indica che è minore. Presti attenzione alla divisione per zero quando il valore precedente è zero: il risultato è NaN o inf, a seconda del segno del valore corrente. Usi replace([float('inf'), float('-inf')], float('nan')) per eliminare i valori infiniti dopo pct_change().

Verifichi la Sua comprensione dello spostamento dei dati e delle feature lag affrontati in questa lezione.

In questa lezione ha imparato che shift(n) crea feature lag spostando i valori verso il basso di n posizioni; diff(n) calcola la variazione assoluta tra periodi; pct_change(n) calcola la variazione percentuale relativa; e, quando lavora con più gruppi, deve usare groupby().shift() per evitare il data leakage. Ora estrarremo le feature temporali usando l'accessor .dt.