pivot_table: tabulazione incrociata

Una tabella pivot è una tabulazione incrociata che riassume i dati in base a due dimensioni categoriali: una forma le righe e l'altra le colonne, con un valore aggregato in ogni cella. Se ha già creato una tabella pivot in Excel, riconoscerà immediatamente il concetto. Pandas mette a disposizione pd.pivot_table() (e la corrispondente versione come metodo del DataFrame) per creare questi riepiloghi interamente in Python.

I quattro parametri principali di pd.pivot_table() sono: values (la colonna da aggregare), index (la colonna che diventa le righe), columns (la colonna che diventa le colonne) e aggfunc (la funzione di aggregazione, che per impostazione predefinita è 'mean'). Il risultato è un DataFrame in cui ogni cella contiene il valore aggregato per quella combinazione di riga e colonna.

Il parametro aggfunc accetta il nome, sotto forma di stringa, di qualsiasi funzione di aggregazione di NumPy/Pandas, un oggetto callable oppure un elenco di oggetti callable. Scelte comuni: 'sum' per i totali, 'mean' per le medie, 'count' per le frequenze, 'min'/'max' per i valori estremi. Quando passa un elenco, ogni aggregazione ottiene il proprio livello nel MultiIndex delle colonne.

Quando una combinazione di etichette di riga e colonna non contiene dati, per impostazione predefinita la cella contiene NaN. Passi fill_value per sostituire le celle mancanti con un valore predefinito significativo, ad esempio 0 per i conteggi o i ricavi. In questo modo la tabella è più facile da leggere e si evita che le operazioni aritmetiche successive producano silenziosamente risultati NaN.

Passi margins=True per aggiungere i totali delle righe e delle colonne alla tabella pivot. Pandas aggiunge una riga 'All' in fondo e una colonna 'All' a destra, contenenti i valori aggregati per tutte le categorie. Può rinominare l'etichetta dei margini con margins_name. Questo comportamento corrisponde alla riga "Totale complessivo" delle tabelle pivot di Excel.

Il parametro values può essere un elenco di nomi di colonne per aggregare più metriche contemporaneamente. Il risultato presenta un MultiIndex delle colonne, in cui il livello esterno è la colonna del valore e quello interno è la categoria. Ciò consente di creare una tabella riepilogativa completa con una sola chiamata, invece di costruire e unire più tabelle pivot separate.

Quando passa un elenco a index o columns, la tabella pivot presenta un MultiIndex sull'asse corrispondente. Ciò consente di creare riepiloghi più dettagliati: ad esempio, suddividendo i ricavi per area geografica e trimestre nelle righe e per prodotto nelle colonne. Acceda ai livelli secondari con .loc e con le tuple di indici, come di consueto.

Dopo aver creato una tabella pivot, l'indice rappresenta la colonna di raggruppamento e il MultiIndex delle colonne (quando si usano più valori) può risultare poco maneggevole. Un comune schema di pulizia consiste nel chiamare reset_index() per appiattire l'indice delle righe, quindi nel ridurre il MultiIndex delle colonne a un unico livello unendo i livelli con un carattere di sottolineatura tramite una list comprehension.

Sia pivot_table sia groupby().agg() producono statistiche riepilogative. La differenza riguarda la forma dell'output: groupby().agg() restituisce un DataFrame in formato lungo, con una riga per ogni combinazione di gruppi, mentre pivot_table restituisce una tabella in formato ampio, in cui una dimensione diventa l'insieme delle colonne. Per dashboard e report, il formato ampio delle tabelle pivot è spesso più leggibile; per ulteriori analisi di machine learning o statistiche, è preferibile il formato lungo.

Una tabella pivot è un normale DataFrame, quindi può ordinarla, calcolare colonne derivate e formattarla esattamente come qualsiasi altro DataFrame Pandas. Ad esempio, può ordinare in ordine decrescente in base a una specifica colonna di prodotto per classificare le aree geografiche in base ai risultati di quel prodotto, oppure aggiungere una colonna percentuale dividendo ogni cella per il totale della riga.

Le tabelle pivot sono uno strumento fondamentale per creare report gestionali e dashboard. Un flusso di lavoro tipico consiste nel caricare i dati grezzi delle transazioni, creare una tabella pivot con i mesi come colonne e le categorie di prodotto come righe, aggiungere i totali dei margini ed esportare il risultato in Excel. L'intero flusso, dai dati grezzi a una tabella pronta per essere presentata alla direzione, richiede solo poche chiamate a Pandas.

In questa lezione ha imparato che pd.pivot_table() crea riepiloghi tramite tabulazione incrociata, con una dimensione come righe e un'altra come colonne; fill_value gestisce le celle mancanti e margins=True aggiunge i totali; è possibile aggregare più valori contemporaneamente; e le tabelle pivot producono un output in formato ampio, ideale per i report. Ora esamineremo l'operazione inversa: melt() per convertire i dati dal formato ampio a quello lungo.