Trasformazione e filtro con GroupBy

Dopo aver acquisito dimestichezza con agg(), la domanda naturale è: cosa fare se si desidera mantenere tutte le righe originali arricchendole con statistiche a livello di gruppo? Oppure mantenere solo i gruppi che soddisfano una condizione? È qui che entrano in gioco transform() e filter(). Questi due metodi estendono GroupBy oltre il semplice riepilogo, introducendolo nell'ingegneria delle feature e nella selezione dei dati.

transform() applica una funzione a ogni gruppo e restituisce un risultato con la stessa forma del DataFrame originale, ovvero un valore per ogni riga originale. Il risultato del gruppo viene ridistribuito a ogni riga appartenente a quel gruppo. Questo lo rende ideale per aggiungere statistiche a livello di gruppo come nuove colonne senza modificare il numero di righe.

Tra gli usi comuni di transform() vi sono: aggiungere la media del gruppo per normalizzare i valori, aggiungere la somma del gruppo per calcolare la percentuale del totale rappresentata da ogni riga e aggiungere il rango nel gruppo per confrontare ogni elemento con gli altri del proprio gruppo. Tutte queste operazioni mantengono la forma e l'indice originali, quindi il risultato può essere usato immediatamente insieme alle colonne originali.

Come agg(), anche transform() accetta qualsiasi funzione chiamabile, oltre ai nomi stringa. La funzione riceve una Series di valori per un gruppo e deve restituire una Series della stessa lunghezza oppure uno scalare, che viene poi ridistribuito. Restituire uno scalare è il caso d'uso più comune; restituire una Series di lunghezza diversa genera un errore.

La differenza fondamentale è la seguente: agg() riduce il numero di righe, una per gruppo, mentre transform() mantiene il numero di righe, una per ogni riga originale. Usi agg() per creare una tabella riepilogativa. Usi transform() per aggiungere informazioni a livello di gruppo come nuova colonna nel DataFrame originale.

filter() mantiene o scarta interi gruppi in base a una funzione booleana. Si passa una funzione che riceve un sotto-DataFrame relativo a un gruppo e restituisce True per mantenere il gruppo oppure False per eliminarlo. Il risultato è un sottoinsieme del DataFrame originale contenente solo le righe dei gruppi che hanno superato il test.

Un uso molto comune di filter() consiste nel mantenere i gruppi il cui valore aggregato soddisfa una soglia. Ad esempio, può mantenere solo i reparti in cui lo stipendio medio supera un obiettivo oppure solo le categorie di prodotto con vendite totali superiori a un minimo. In questo modo può rimuovere i gruppi con pochi dati prima di procedere con ulteriori analisi.

È possibile applicare transform() e filter() in sequenza per arricchire i dati e poi restringerli. Utilizzi prima filter() per rimuovere i gruppi irrilevanti, quindi applichi transform() al risultato filtrato per aggiungere feature a livello di gruppo. La combinazione produce un sottoinsieme pulito e ricco di feature, pronto per la modellazione o la reportistica.

transform() è utile anche con funzioni non numeriche. Un approccio diffuso consiste nel riempire i valori mancanti all'interno di un gruppo usando il riempimento in avanti o la mediana del gruppo, soluzione molto più efficace rispetto a un riempimento globale. Passi una lambda che chiama fillna() sulla Series del gruppo: il risultato avrà lo stesso indice del DataFrame originale.

Un potente caso d'uso aziendale consiste nel calcolare la posizione di ogni riga rispetto al proprio gruppo. Combinando transform() con operazioni aritmetiche, può aggiungere colonne come: stipendio meno la media del gruppo (scostamento), stipendio come frazione del totale del gruppo oppure un flag booleano che indica se il dipendente guadagna più della mediana del gruppo. Queste feature sono estremamente utili per dashboard e modelli ML.

Sia transform() sia filter(), quando usati con funzioni stringa integrate, sono veloci perché sfruttano percorsi di esecuzione ottimizzati. Tuttavia, quando si passa una lambda o una funzione Python personalizzata, Pandas deve chiamare quella funzione una volta per gruppo, operazione che può essere lenta su dati con molti gruppi. Per ottenere le massime prestazioni con dataset di grandi dimensioni, verifichi se la logica personalizzata può essere espressa usando invece una funzione stringa integrata.

In questa lezione ha imparato che transform() restituisce statistiche di gruppo ridistribuite fino al numero di righe originale, risultando ideale per aggiungere feature a livello di gruppo; che filter() mantiene o rimuove interi gruppi in base a una condizione booleana; e che la combinazione dei due metodi consente di creare dataset ricchi e filtrati per le analisi successive. Nella prossima lezione esploreremo come combinare i DataFrame usando pd.concat.