Ranghi e percentili all'interno dei gruppi

I valori grezzi sono spesso meno significativi delle posizioni relative. Un rappresentante commerciale con un fatturato mensile di 50.000 $ è un ottimo performer se la media è di 30.000 $, ma è un performer scarso se la media è di 80.000 $. Calcolando i ranghi all'interno dei gruppi (ad esempio, il rango all'interno di ciascuna regione o di ciascun trimestre), ottiene un confronto normalizzato che tiene conto delle diverse basi di riferimento tra i gruppi. Pandas semplifica il calcolo dei ranghi all'interno dei gruppi con groupby().rank().

Series.rank() assegna un rango a ogni valore: il rango 1 corrisponde al valore più piccolo, mentre il rango n al più grande. Il parametro ascending=False inverte la direzione, quindi il rango 1 corrisponde al valore più grande. Il risultato è una Series di tipo float, non intero, perché per impostazione predefinita i valori a pari merito vengono risolti calcolando la media dei ranghi corrispondenti. Per una colonna con 5 valori, i ranghi vanno da 1.0 a 5.0; in presenza di pari merito, alcuni valori possono condividere un rango come 2.5.

Il parametro method controlla il comportamento dei valori a pari merito. Le opzioni sono: 'average' (predefinita: i valori a pari merito condividono la media dei rispettivi ranghi), 'min' (a tutti i valori a pari merito viene assegnato il rango più basso), 'max' (a tutti viene assegnato il rango più alto), 'first' (i ranghi vengono assegnati in ordine di apparizione, senza pari merito) e 'dense' (non ci sono salti nei ranghi: 1, 2, 3, 3, 4 diventa 1, 2, 3, 3, 4 invece di 1, 2, 3, 3, 5). Il metodo 'dense' è particolarmente utile per i ranghi in stile percentile.

groupby('group_col')['value_col'].rank() calcola i ranghi indipendentemente all'interno di ogni gruppo. Il rango riparte dall'inizio di ciascun gruppo: quindi il performer migliore nella regione East ottiene il rango 1 in East e il migliore nella regione West ottiene anch'egli il rango 1 in West. È questo che rende il calcolo dei ranghi con groupby così utile per confronti equi tra gruppi.

Impostando pct=True in rank() si ottiene il rango percentile: un valore compreso tra 0 e 1 che rappresenta la frazione dei valori del gruppo minori o uguali al valore corrente. Un rango percentile pari a 0.8 significa che il valore si trova all'80º percentile, cioè è superiore all'80% di tutti i valori. Questa normalizzazione rende direttamente confrontabili i valori appartenenti a gruppi di dimensioni diverse, senza conoscere l'effettiva dimensione dei gruppi.

pd.qcut(series, q) suddivide i valori in q intervalli con la stessa frequenza, in modo che ogni intervallo contenga approssimativamente lo stesso numero di osservazioni. A differenza di pd.cut, che utilizza intervalli di uguale ampiezza, pd.qcut adatta i limiti degli intervalli alla distribuzione dei dati. È ideale per creare quartili (q=4), quintili (q=5) o decili (q=10) per fasce di performance.

pd.cut(series, bins=n) crea intervalli di uguale ampiezza (stesso intervallo, quantità diverse). pd.qcut(series, q=n) crea intervalli con la stessa frequenza (stessa quantità, intervalli diversi). Per i dati asimmetrici, pd.cut produce intervalli quasi vuoti nelle code, mentre pd.qcut distribuisce uniformemente le osservazioni. Scelga pd.cut quando i limiti degli intervalli hanno un significato aziendale naturale (fasce di prezzo, gruppi di età); scelga pd.qcut per le fasce di performance quando desidera gruppi della stessa dimensione.

pd.qcut(series, q=10, labels=range(1,11)) assegna ogni osservazione al proprio decile (da 1 a 10). È una tecnica standard nell'analisi di marketing (decili del valore dei clienti), nel credit scoring (decili di rischio) e nei test AB (decili di traffico per l'analisi delle coorti). Il parametro labels può contenere qualsiasi elenco della stessa lunghezza di q: utilizzi stringhe come ['Bottom 10%', ..., 'Top 10%'] per ottenere un risultato più leggibile.

Combini groupby con pd.qcut usando transform per creare intervalli percentili all'interno di ogni gruppo. È utile quando desidera classificare i clienti all'interno di ciascuna regione, anziché a livello globale: un cliente nel decile globale più basso potrebbe trovarsi nel decile regionale più alto. Utilizzi groupby('group')['value'].transform(lambda x: pd.qcut(x, q=4, labels=['Q1','Q2','Q3','Q4'])).

Una domanda aziendale frequente è: «chi sono i 3 performer migliori in ogni regione?». Utilizzi groupby().rank() e poi filtri in base al rango: df[df['rank_col'] <= 3]. Questo funziona correttamente con gruppi di qualsiasi dimensione e gestisce bene i pari merito, mantenendo più di 3 righe se al limite sono presenti ranghi uguali. In alternativa, utilizzi groupby().nlargest(n), che restituisce direttamente i n valori più grandi per ogni gruppo senza aggiungere una colonna con il rango.

Può usare groupby().rank(pct=True) insieme a transform per aggiungere una colonna con il rango percentile al DataFrame originale. Questa colonna normalizzata è spesso più utile come feature di un modello rispetto al valore grezzo: non dipende dalla scala ed è confrontabile tra gruppi. Nel machine learning, i ranghi percentili sono una semplice alternativa alla standardizzazione (z-score), più robusta rispetto agli outlier.

In questa lezione ha imparato che: Series.rank() calcola ranghi numerici con una gestione configurabile dei pari merito; groupby().rank() riavvia i ranghi all'interno di ogni gruppo per consentire confronti equi tra gruppi; pct=True converte i ranghi in percentili (da 0 a 1); pd.qcut crea intervalli con la stessa frequenza per assegnare fasce di quartili, decili e percentili. Ora esamineremo i suggerimenti sulle prestazioni di Pandas: profilazione, come evitare i cicli lenti e tipi di dati efficienti.