Il pattern Split-Apply-Combine

L’operazione GroupBy è uno dei pattern più potenti nell’analisi dei dati. Consente di suddividere un DataFrame in gruppi, applicare una funzione a ciascun gruppo in modo indipendente e combinare quindi i risultati in una nuova struttura. Questo flusso di lavoro è noto come pattern split-apply-combine, un termine coniato dallo statistico Hadley Wickham.

Nel passaggio split, Pandas divide il DataFrame in sotto-DataFrame in base ai valori univoci presenti in una o più colonne. Ad esempio, se i dati contengono una colonna region con valori come 'North', 'South' e 'West', il passaggio split crea tre gruppi separati. Non vengono ancora spostati né copiati dati: Pandas registra semplicemente quali righe appartengono a ciascun gruppo.

Nel passaggio apply, una funzione viene applicata a ciascun gruppo in modo indipendente. La funzione può essere un’aggregazione integrata come sum() o mean(), oppure una funzione personalizzata definita da Lei. Le righe di ciascun gruppo vengono passate alla funzione, che restituisce come risultato uno scalare, una Series o un DataFrame.

Nel passaggio combine, Pandas riunisce automaticamente i risultati dei singoli gruppi in un unico oggetto, in genere una Series o un DataFrame. Le chiavi dei gruppi diventano l’indice del risultato. Questo passaggio avviene automaticamente quando si chiama un metodo di aggregazione su un oggetto GroupBy, fornendo una tabella riepilogativa ordinata con una riga per ogni gruppo.

Per creare un oggetto GroupBy, chiami df.groupby(column). In questa fase non viene eseguito alcun calcolo: si tratta di un oggetto lazy. Può iterarvi sopra per visualizzare i gruppi oppure concatenare un metodo di aggregazione per avviare il calcolo. Passando as_index=False, la colonna di raggruppamento rimane una colonna normale invece di diventare l’indice del risultato.

Può iterare su un oggetto GroupBy per esaminare ogni gruppo singolarmente. Ogni iterazione restituisce una tupla di (group_key, sub_dataframe). Questa tecnica è utile per il debugging o quando desidera elaborare ogni gruppo con codice Python arbitrario. Tuttavia, in produzione, per ottenere prestazioni migliori, preferisca i metodi di aggregazione vettorializzati all’iterazione esplicita.

Pandas GroupBy supporta molte funzioni di aggregazione integrate: sum(), mean(), count(), min(), max(), std(), median() e altre. Queste funzioni sono altamente ottimizzate ed elaborano tutti i gruppi in un’unica scansione. Quando esiste una funzione integrata, la preferisca sempre alla scrittura di una funzione Python personalizzata.

Può applicare aggregazioni simultaneamente a più colonne selezionandole prima di chiamare il metodo di aggregazione oppure omettendo la selezione delle colonne per aggregare tutte le colonne numeriche. Il risultato è un DataFrame anziché una Series, con una colonna per ogni variabile aggregata.

Consideri GroupBy come la clausola GROUP BY di SQL. Il codice Pandas df.groupby('region')['sales'].sum() equivale a SELECT region, SUM(sales) FROM df GROUP BY region in SQL. Comprendere questa corrispondenza La aiuta a passare da uno strumento all’altro e a scegliere l’astrazione giusta per la pipeline.

Potrebbe chiedersi perché non iterare semplicemente sui valori univoci e calcolare manualmente le statistiche. La risposta è prestazioni e leggibilità. Un ciclo Python sui gruppi è molto più lento di una singola chiamata groupby vettorializzata, soprattutto con dataset di grandi dimensioni. Le operazioni GroupBy vengono eseguite internamente in codice C compilato, risultando da 10 a 100 volte più veloci di cicli Python equivalenti.

Quando serve un livello di dettaglio maggiore, raggruppi i dati per più colonne passando un elenco a groupby(). Il risultato presenta un MultiIndex, in cui ogni livello corrisponde a una colonna di raggruppamento. Ad esempio, il raggruppamento per 'region' e 'quarter' restituisce i totali per ogni combinazione di regione e trimestre.

Verifichi la Sua comprensione del pattern split-apply-combine presentato in questa lezione.

In questa lezione ha imparato: il pattern split-apply-combine alla base di tutte le operazioni GroupBy, come creare un oggetto GroupBy con df.groupby() e come applicare aggregazioni integrate come sum() e mean() per ottenere un risultato per ogni gruppo. Ora vedremo il raggruppamento con una o più chiavi e altri metodi di aggregazione.