pd.concat per impilare DataFrame

Nei progetti reali, i dati raramente arrivano in un unico file. Potrebbe avere file mensili sulle vendite, esportazioni di sondaggi regionali o risultati di query al database suddivisi tra più query. La concatenazione impila questi DataFrame separati in un'unica tabella combinata. Pandas mette a disposizione pd.concat() per questo scopo, gestendo sia l'impilamento verticale (per righe) sia quello orizzontale (per colonne).

L'uso più comune di pd.concat() consiste nell'impilare i DataFrame verticalmente, aggiungendo altre righe. Si passa un elenco di DataFrame e la funzione li aggiunge uno sotto l'altro. Per ottenere un risultato pulito, i DataFrame devono avere colonne compatibili. Pandas allinea automaticamente i nomi delle colonne e riempie le colonne mancanti con NaN.

Noti che pd.concat() conserva gli indici originali di ogni DataFrame, cosa che può produrre valori di indice duplicati, come nell'esempio precedente con due righe all'indice 0 e due all'indice 1. Passi ignore_index=True per creare nel risultato combinato un nuovo indice intero sequenziale: è quasi sempre ciò che desidera.

Quando concatena dati provenienti da più origini, potrebbe voler sapere da quale DataFrame originale proviene ogni riga. Passi il parametro keys con un elenco di etichette. Pandas crea un MultiIndex il cui livello esterno identifica l'origine. Può quindi usare .loc['label'] per accedere alle righe di un'origine specifica.

Passi axis=1 per concatenare i DataFrame affiancandoli, aggiungendo altre colonne. Pandas li allinea in base all'indice delle righe, quindi per ottenere un risultato pulito i due DataFrame dovrebbero avere lo stesso indice. Se gli indici differiscono, le righe non corrispondenti vengono riempite con NaN. Questo è utile per combinare feature calcolate separatamente a partire dallo stesso dataset.

Se i DataFrame concatenati hanno colonne diverse, Pandas mantiene tutte le colonne e riempie i valori mancanti con NaN. Questo è il comportamento predefinito di join='outer'. Se desidera mantenere solo le colonne presenti in tutti i DataFrame, passi join='inner', che elimina ogni colonna non presente in tutte le origini.

Un approccio tipico per caricare più file consiste nel raccogliere tutti i DataFrame in un elenco e chiamare pd.concat() una sola volta alla fine. Eviti di concatenare all'interno di un ciclo, ad esempio df = pd.concat([df, new_chunk]), perché a ogni iterazione viene creata una nuova copia del DataFrame, con una complessità temporale quadratica per raccolte di grandi dimensioni.

pd.concat() funziona sia con le Series sia con i DataFrame. Concatenando verticalmente un elenco di Series si ottiene una Series più lunga. Concatenando con axis=1 si produce un DataFrame in cui ogni Series diventa una colonna. Le Series vengono allineate in base al proprio indice, quindi per una concatenazione orizzontale pulita le etichette dell'indice devono corrispondere.

Dopo la concatenazione, verifichi sempre che il risultato abbia la forma prevista e non contenga valori NaN imprevisti. Un rapido controllo di coerenza consiste nel confrontare il numero complessivo di righe con la somma dei conteggi individuali e chiamare isna().sum() per individuare eventuali valori mancanti introdotti involontariamente dal disallineamento delle colonne. Questi controlli impediscono che problemi silenziosi di qualità dei dati si propaghino nelle analisi.

Il vecchio codice Pandas potrebbe usare df.append(other), un wrapper pratico per pd.concat(). Questo metodo è stato deprecato in Pandas 1.4 e rimosso in Pandas 2.0. Nel codice moderno usi sempre pd.concat([df, other], ignore_index=True). Il comportamento è identico, ma pd.concat è più esplicito e supporta la concatenazione di più di due DataFrame contemporaneamente.

Ecco un approccio realistico: caricare i DataFrame mensili, aggiungere un'etichetta di origine, concatenarli e calcolare un riepilogo dell'intero anno. Il parametro keys facilita il collegamento di ogni riga al proprio mese, mentre ignore_index=True, combinato con una colonna relativa al mese, produce un DataFrame piatto e ordinato per le analisi con raggruppamento.

Verifichi la Sua comprensione di pd.concat per impilare i DataFrame, come illustrato in questa lezione.

In questa lezione ha imparato: come impilare i DataFrame verticalmente con pd.concat() e ignore_index=True, come tenere traccia delle origini usando il parametro keys e come join='inner' vs 'outer' controlla la gestione delle colonne quando gli schemi differiscono. Ora esploreremo pd.merge() per eseguire join interni ed esterni in stile SQL su colonne chiave condivise.