Il metodo query()

L'indicizzazione booleana di Pandas è potente, ma può diventare prolissa quando si combinano molte condizioni. Il metodo query() consente di scrivere le espressioni di filtro come semplici stringhe, che molti trovano più leggibili, soprattutto chi proviene dal mondo SQL. Invece di df[(df['age'] > 30) & (df['salary'] > 50000)], si scrive df.query('age > 30 and salary > 50000').

La stringa della query viene valutata in base ai nomi delle colonne del DataFrame, quindi all'interno della stringa i nomi delle colonne agiscono come nomi di variabili.

All'interno di una stringa di query è possibile usare gli operatori di confronto standard di Python (>, <, ==, !=, >=, <=) e i connettori logici and, or, not. A differenza della normale indicizzazione booleana, qui è possibile usare le parole inglesi: non servono le e commerciali o le barre verticali.

I nomi delle colonne che contengono spazi o che entrano in conflitto con le parole chiave di Python devono essere racchiusi tra backtick: df.query('`first name` == "Alice"').

Una caratteristica importante di query() è la possibilità di fare riferimento alle variabili Python dell'ambito circostante usando il prefisso @. Questo semplifica la parametrizzazione dei filtri: si calcola una soglia, la si memorizza in una variabile e poi si usa @variable_name all'interno della stringa della query invece di inserire direttamente il valore.

Questo schema è molto utile nelle funzioni che accettano argomenti di filtro in fase di esecuzione.

Poiché query() restituisce un nuovo DataFrame, è possibile concatenare più chiamate a query oppure combinarle con altri metodi Pandas in una pipeline. La concatenazione mantiene ogni passaggio di filtraggio sulla propria riga, rendendo la logica facile da leggere, eseguire il debug e modificare.

È inoltre possibile concatenare query() con metodi come .groupby(), .sort_values() o .head() per creare pipeline di analisi concise.

Entrambi i metodi producono lo stesso risultato, ma ciascuno è adatto a casi diversi. query() è particolarmente efficace per i filtri con più condizioni, che con l'indicizzazione booleana richiederebbero molte parentesi. L'indicizzazione booleana è preferibile quando la condizione include espressioni Python complesse, come chiamate a metodi non supportate nelle stringhe di query.

Nella maggior parte dei casi le prestazioni sono simili; query() può essere leggermente più veloce con DataFrame molto grandi perché utilizza internamente la libreria numexpr.

È possibile filtrare i valori delle colonne di tipo stringa all'interno di una stringa di query racchiudendo tra virgolette il valore letterale. Usi le virgolette doppie per la stringa esterna della query e quelle singole per il valore stringa, oppure viceversa: l'importante è essere coerenti. Tenga presente che query() non supporta metodi .str come contains(); per questi casi, usi l'indicizzazione booleana con .str.

All'interno delle stringhe di query, Pandas supporta gli operatori in e not in per verificare l'appartenenza, in modo simile alle liste Python. Questa è un'alternativa chiara alla concatenazione di più condizioni == con or. L'elenco dei valori viene scritto direttamente nella stringa della query.

I confronti concatenati di Python, come 10 < price < 500, funzionano all'interno delle stringhe di query e rendono i filtri per intervallo molto espressivi. Con la normale indicizzazione booleana ciò non è possibile senza usare between() oppure due condizioni separate unite con &.

query() è potente, ma presenta alcuni limiti. I nomi delle colonne con spazi o caratteri speciali devono essere racchiusi tra backtick. Le espressioni Python molto complesse, come le funzioni personalizzate o la logica su più righe, non sono supportate all'interno della stringa. Inoltre, query() può produrre risultati inattesi se i nomi delle colonne entrano in conflitto con parole chiave Python come class o if: racchiuda tra backtick anche questi nomi.

Per tutto ciò che query() non consente di esprimere in modo chiaro, torni all'indicizzazione booleana standard.

Ecco una dimostrazione pratica che combina query() con un riferimento a una variabile e una concatenazione fino a un groupby. Questo schema, che consiste nel filtrare prima e aggregare poi, evita di elaborare righe non necessarie ed è quindi più chiaro e veloce sui dataset di grandi dimensioni.

Usare query() all'interno di una concatenazione di metodi è una buona pratica nel moderno codice Pandas. Rende chiaro e autoesplicativo ogni passaggio della pipeline di trasformazione. Racchiuda l'intera concatenazione tra parentesi, così potrà suddividerla su più righe senza usare barre rovesciate.

Combini query() con assign() per aggiungere colonne, groupby() per le aggregazioni e pipe() per le funzioni personalizzate, così da creare pipeline completamente leggibili.

In questa lezione ha imparato che: query() accetta espressioni di filtro come stringhe, rendendo più leggibili i filtri con più condizioni; @variable_name inserisce variabili Python nella query; inoltre, è possibile usare in/not in e confronti concatenati, non disponibili con la normale indicizzazione booleana. Nel prossimo argomento esploreremo isin() e between() per creare filtri concisi di appartenenza e di intervallo.