Allineamento e reindicizzazione degli indici

Uno dei comportamenti più potenti, e talvolta sorprendenti, di Pandas è l'allineamento automatico degli indici. Quando somma, sottrae o combina in altro modo due Series o DataFrame, Pandas li allinea prima in base alle etichette dell'indice, quindi esegue l'operazione. Le etichette corrispondenti vengono elaborate; quelle non corrispondenti producono NaN. Questo evita errori silenziosi dovuti a dati non allineati e consente di combinare in sicurezza dati provenienti da fonti diverse senza doverli ordinare o riordinare manualmente.

Quando le etichette degli indici non corrispondono, Pandas riempie le voci mancanti con NaN. È intenzionale: segnala che «non era disponibile alcun valore corrispondente in uno degli operandi». Controlli sempre il risultato delle operazioni aritmetiche tra due Series o DataFrame per individuare valori NaN imprevisti: indicano un disallineamento degli indici. Usi fill_value=0 nel metodo aritmetico (s1.add(s2, fill_value=0)) per trattare i valori allineati mancanti come zero invece di propagare NaN.

L'allineamento si applica sia alle righe sia alle colonne quando si combinano due DataFrame. Il risultato contiene l'unione di entrambi gli insiemi di indici e di colonne, con NaN ovunque uno dei due DataFrame non abbia un valore. È equivalente a una full outer join simultanea su indice e colonne. Ciò consente di sommare in sicurezza DataFrame relativi a periodi fiscali diversi: i mesi presenti in uno solo dei due ricevono NaN, che può poi riempire o eliminare.

df.reindex(new_index) restituisce un nuovo DataFrame conforme all'elenco di etichette new_index. Le etichette presenti sia nell'indice originale sia in quello nuovo vengono conservate; quelle presenti in new_index ma non nell'originale ricevono NaN; quelle presenti nell'originale ma non in new_index vengono eliminate. Questo è il modo esplicito per allineare un DataFrame a un insieme di etichette di destinazione prima di eseguire operazioni.

reindex() accetta un parametro fill_value per sostituire le nuove etichette con una costante e un parametro method per il riempimento in avanti ('ffill') o all'indietro ('bfill'). Questi metodi di riempimento sono particolarmente utili per i dati di serie temporali, quando si reindicizza una Series su un intervallo completo di date e si desidera riempire i giorni mancanti con l'ultimo valore noto anziché con NaN.

reindex funziona anche sulle colonne: df.reindex(columns=['col1', 'col2', 'new_col']). Le nuove colonne che non esistono nel DataFrame originale vengono aggiunte con NaN. Le colonne esistenti che non sono incluse nel nuovo elenco vengono eliminate. È utile per imporre uno schema canonico delle colonne a più DataFrame provenienti da fonti diverse e potenzialmente caratterizzati da insiemi di colonne non uniformi.

s1.align(s2) restituisce due nuovi oggetti con lo stesso indice (unione o intersezione in base al parametro join), pronti per operazioni elemento per elemento. È equivalente a reindicizzare simultaneamente entrambi gli oggetti sullo stesso insieme di etichette. Usi join='inner' per mantenere solo le etichette comuni oppure join='outer' (predefinito) per mantenere tutte le etichette di entrambi, con NaN in caso di mancata corrispondenza.

Pandas offre due approcci per combinare i DataFrame: merge/join (in stile SQL, con corrispondenza esplicita delle chiavi) e operazioni aritmetiche con allineamento degli indici (implicito, basato sulle etichette). Usi merge quando combina tabelle strutturate con colonne di chiavi esplicite. Usi l'allineamento aritmetico quando esegue calcoli tra DataFrame che dovrebbero condividere naturalmente un indice, ad esempio sottraendo un DataFrame dei costi da uno dei ricavi, entrambi indicizzati per (regione, mese).

Prima di eseguire operazioni su due DataFrame, controlli se i relativi indici coincidono con (df1.index == df2.index).all(). Se gli indici differiscono solo nell'ordine, li ordini entrambi prima del confronto. Per i DataFrame caricati da fonti diverse, è buona pratica allinearli o reindicizzarli esplicitamente prima delle operazioni aritmetiche, per evitare la propagazione accidentale di NaN. Documenti nei commenti o nei log della pipeline ogni ipotesi relativa all'allineamento.

Uno schema comune quando si caricano dati da più file o chiamate API consiste nel fatto che ogni batch copre un sottoinsieme diverso di chiavi. Prima di concatenare o aggregare, reindicizzi tutti i batch sullo spazio completo delle chiavi note con fill_value=0. In questo modo ogni batch ha la stessa forma (stesso indice e stesse colonne) prima delle operazioni, evitando discrepanze silenziose nelle forme che causano risultati aggregati errati.

Due casi limite importanti: Etichette duplicate — se entrambe le Series hanno etichette di indice duplicate, l’allineamento produce un’espansione simile a un prodotto cartesiano con molti valori NaN (Pandas non presume quali duplicati corrispondano tra loro). Si assicuri sempre che gli indici siano univoci prima dell’allineamento aritmetico. Indici integer e object — un RangeIndex(0,5) e un Int64Index([0,1,2,3,4]) potrebbero non allinearsi perfettamente dopo alcune operazioni, perché uno viene dedotto e l’altro è esplicito. Utilizzi reset_index(drop=True) per normalizzarli.

Verifichi la sua comprensione dell’allineamento e del reindicizzamento degli indici presentati in questa lezione.

In questa lezione ha imparato che Pandas esegue l’allineamento automatico degli indici nelle operazioni aritmetiche, producendo NaN per le etichette senza corrispondenza; reindex() adatta un DataFrame a un insieme di etichette di destinazione, con opzioni di riempimento per quelle mancanti; e align() sincronizza contemporaneamente due oggetti sullo stesso indice. Nella prossima lezione esploreremo i vantaggi in termini di prestazioni degli indici ordinati e come misurarli con timeit.