apply() su colonne e righe

DataFrame.apply() esegue una funzione Python personalizzata su ogni colonna (axis=0) o su ogni riga (axis=1). È lo strumento da usare come ultima risorsa, perché è più lento delle operazioni vettorializzate integrate, ma è essenziale quando un calcolo non può essere espresso tramite aritmetica NumPy, indicizzazione booleana o funzioni di aggregazione integrate. Lo utilizzi quando servono una logica condizionale complessa, un'analisi personalizzata delle stringhe o calcoli in più passaggi che operano su una sola riga o colonna alla volta.

Con axis=0 (il valore predefinito), apply() passa ogni colonna alla funzione come Series. La funzione riceve una colonna alla volta e dovrebbe restituire uno scalare (per un'aggregazione) o una Series (per una trasformazione). Questo è utile per applicare con una sola chiamata una fase personalizzata di normalizzazione o pulizia a tutte le colonne numeriche.

Con axis=1, apply() passa ogni riga alla funzione come Series. L'indice della riga corrisponde al nome della colonna, quindi è possibile accedere ai valori tramite il nome. Questa modalità è ideale per i calcoli a livello di riga che dipendono da più colonne, ad esempio il calcolo del ricavo totale dopo le imposte quando ogni riga ha la propria aliquota fiscale.

Una funzione passata a apply(axis=1) può restituire una pd.Series con elementi denominati, che Pandas espande in più nuove colonne. È più chiaro che chiamare apply() due volte per ottenere due nuove colonne. In alternativa, la funzione può restituire un dict, che Pandas espande anch'esso in colonne.

Utilizzi apply(func, axis=0) per calcolare una statistica personalizzata per ogni colonna e restituire una Series riepilogativa. Ad esempio, può calcolare in un'unica chiamata il coefficiente di variazione (deviazione standard divisa per la media) per ogni colonna numerica. Il risultato è una Series indicizzata per nome della colonna, utile per una diagnostica rapida colonna per colonna.

Prima di utilizzare apply(), verifichi sempre se esiste un'alternativa vettorializzata. Per il calcolo del ricavo dopo le imposte, df['price'] * df['quantity'] * (1 + df['tax_rate']) esegue la stessa operazione della versione con apply(axis=1), ma è da 10 a 100 volte più veloce perché utilizza cicli a livello C di NumPy. Riservi apply() ai casi in cui la logica vettorializzata risulterebbe illeggibilmente complessa.

Per trasformazioni brevi su una sola riga, passi direttamente una lambda a apply() invece di definire una funzione denominata. Le lambda sono concise per le operazioni semplici, ma dovrebbero essere evitate per la logica complessa, per la quale una funzione denominata con commenti è più facile da comprendere e testare. Utilizzi le lambda con moderazione: non è facile sottoporle a test unitari o analizzarle tramite profilazione per nome.

Passi argomenti aggiuntivi alla funzione utilizzando la tupla args o argomenti con nome in apply(func, args=(val,), axis=1). In questo modo evita di utilizzare variabili globali all'interno della funzione e la rende riutilizzabile con valori dei parametri diversi. In Python 3.8 e versioni successive, può anche utilizzare functools.partial per creare una versione parzialmente applicata della funzione.

Quando una colonna contiene tipi misti — alcuni interi, alcuni numeri con virgola mobile e alcune stringhe — astype() genera un errore. Utilizzi apply(pd.to_numeric, errors='coerce') per tentare la conversione riga per riga e restituire NaN per i valori che non possono essere convertiti. Questo è un modello sicuro per le colonne che dovrebbero essere numeriche, ma contengono occasionalmente elementi non numerici dovuti a errori di inserimento.

Quando una funzione applicata a scalari deve essere applicata elemento per elemento, np.vectorize(func)(array) è in genere più veloce di Series.apply(func), perché la vectorize di NumPy utilizza un meccanismo di dispatch tramite C invece dell'overhead delle chiamate di funzione di Python. Tuttavia, np.vectorize è comunque più lenta del vero broadcasting: è utile solo quando nessuna espressione di broadcasting riesce a rappresentare la logica.

Apply è lo strumento giusto quando: (1) la logica richiede diramazioni simultanee sui valori di più colonne; (2) la funzione chiama un'API esterna o un database per ogni riga (un'operazione inevitabilmente sequenziale); (3) la funzione analizza una stringa complessa, come un oggetto JSON memorizzato in una cella; oppure (4) la funzione restituisce un oggetto di lunghezza variabile, come una lista. In tutti gli altri casi, preferisca le operazioni vettorializzate per ottenere maggiore velocità e leggibilità.

In questa lezione ha imparato a: usare apply(axis=0) per calcolare statistiche personalizzate a livello di colonna, usare apply(axis=1) per eseguire calcoli a livello di riga con più colonne di input e riconoscere quando preferire alternative vettorializzate per ottenere prestazioni migliori. Prossimamente esploreremo apply() con GroupBy per aggregazioni complesse a livello di gruppo.