Selezionare dati da un MultiIndex

Una volta creato un MultiIndex, servono metodi efficienti per recuperare sottoinsiemi di dati. Pandas offre tre strumenti: .loc con tuple per selezionare etichette esatte, slice() e pd.IndexSlice per selezionare intervalli tra i livelli e .xs() per selezionare una sezione trasversale in corrispondenza di un valore specifico di un livello. Padroneggiare questi schemi di accesso consente di sfruttare appieno la potenza dell'indicizzazione gerarchica.

Passi un'unica etichetta del livello esterno a .loc[] per recuperare tutte le righe di quel gruppo. Con un MultiIndex a due livelli (paese, anno), df.loc['USA'] restituisce tutte le righe relative agli Stati Uniti sotto forma di DataFrame, mantenendo solo l'indice interno (anno). Questo comportamento è chiamato rimozione del livello: quando seleziona un valore specifico di un livello esterno, Pandas rimuove quel livello dall'indice dell'oggetto restituito.

Per recuperare una singola riga identificata da entrambi i livelli dell'indice, passi una tupla a .loc[]: df.loc[('USA', 2022)]. Viene restituita una Series (o uno scalare per una singola colonna) corrispondente esattamente a quella combinazione di etichette (esterna, interna). Deve inserire la tupla in una lista, df.loc[[('USA', 2022)]], se desidera ottenere un DataFrame anziché una Series.

Per selezionare contemporaneamente più righe specifiche, passi un elenco di tuple a .loc[]. È utile quando deve ottenere un sottoinsieme non contiguo di righe identificate da chiavi composite, ad esempio i dati del 2022 per Stati Uniti e Regno Unito, ma non per la Germania. Il risultato mantiene il MultiIndex nel DataFrame restituito.

pd.IndexSlice (generalmente indicato con l'alias idx) consente di scrivere slice di intervalli per i livelli di un MultiIndex senza costruire manualmente tuple di slice prolisse. Sintassi: df.loc[idx[outer_slice, inner_slice], column_slice]. Ad esempio, df.loc[idx['UK':'USA', 2022:2023], :] seleziona tutte le righe in cui il livello esterno è compreso tra UK e USA e quello interno tra il 2022 e il 2023. Per funzionare correttamente, l'indice deve essere ordinato.

df.xs(key, level=) seleziona tutte le righe in cui un livello specifico è uguale a un determinato valore, indipendentemente dal contenuto degli altri livelli. A differenza di .loc, che richiede di specificare prima i livelli esterni, .xs può raggiungere direttamente qualsiasi livello tramite il suo nome. Ad esempio, df.xs(2022, level='year') restituisce tutte le righe del 2022 per tutti i paesi senza dover specificare 'USA', 'UK' o 'DE'.

Quando un DataFrame ha un MultiIndex sulle colonne, usi le tuple per accedere a colonne specifiche: df[('revenue', 'Q1')]. Per selezionare tutte le colonne di un livello esterno, ad esempio tutte le colonne relative ai ricavi, usi df['revenue'], che restituisce un DataFrame con tutte le colonne del livello interno sotto quella chiave esterna. Lo schema pd.IndexSlice funziona anche sui multi-indici delle colonne se combinato con .loc.

Per selezionare un singolo valore del livello interno per tutti i valori del livello esterno, combini .loc con slice(None) per il livello esterno: df.loc[(slice(None), 2022), :]. In questo modo seleziona la riga del 2022 per ogni paese. La versione con pd.IndexSlice è più leggibile: df.loc[idx[:, 2022], :]. Questo schema è spesso necessario quando desidera ottenere una fotografia di tutte le entità in uno specifico momento.

Tre problemi comuni: 1) Indice non ordinato: lo slicing di un MultiIndex non ordinato genera UnsortedIndexError o restituisce risultati errati: chiami sempre sort_index() prima dello slicing. 2) KeyError con una tupla come chiave: se passa una tupla senza racchiuderla in .loc[], Python la interpreta come indicizzazione posizionale: usi sempre .loc per accedere a un MultiIndex in base alle etichette. 3) Incompatibilità dei livelli: dopo groupby, i nomi dei livelli del MultiIndex potrebbero non corrispondere a quelli attesi: controlli df.index.names prima dello slicing.

Un caso d'uso concreto: ha dati sulle vendite indicizzati per (regione, trimestre) e deve estrarre il quarto trimestre per tutte le regioni per un report di fine anno. Usi .xs('Q4', level='quarter') per ottenere questa sezione trasversale con una sola chiamata. Quindi calcoli il totale con .sum(). Questo schema, ovvero aggregazione con groupby → risultato MultiIndex → estrazione di una sezione trasversale, è estremamente comune nei flussi di reporting aziendale.

Può selezionare contemporaneamente righe e colonne specifiche usando .loc[row_indexer, column_list]. Con un MultiIndex, l'indicizzatore delle righe può essere una tupla, un elenco di tuple o IndexSlice, mentre l'indicizzatore delle colonne può essere un nome di colonna o un elenco di nomi. In questo modo può estrarre una precisa sotto-tabella rettangolare da un DataFrame gerarchico con una sola espressione.

In questa lezione ha imparato a usare .loc con tuple per selezionare combinazioni specifiche di etichette (esterna, interna), pd.IndexSlice per gli slice di intervallo su qualsiasi livello e .xs() per estrarre una sezione trasversale a qualsiasi livello, indipendentemente dalle chiavi esterne. Ordini sempre prima l'indice per evitare UnsortedIndexError. Ora vedremo l'allineamento degli indici e il reindicizzamento, ovvero come Pandas allinea due DataFrame a un indice comune.