Vantaggi prestazionali degli indici ordinati

Un indice ordinato consente a Pandas di utilizzare la ricerca binaria (O(log n)) invece di una scansione lineare completa (O(n)) per cercare intervalli di etichette. In un DataFrame con un milione di righe, la ricerca binaria trova l’intervallo di destinazione con circa 20 confronti, contro un massimo di un milione di confronti con una scansione lineare. Questo rende le operazioni di slicing su MultiIndex ordinati più veloci di diversi ordini di grandezza rispetto a quelle su indici non ordinati — e la differenza diventa fondamentale nelle pipeline di produzione che elaborano milioni di righe.

Utilizzi df.index.is_monotonic_increasing per verificare se l’indice è ordinato in ordine crescente. Il risultato è un booleano. Per un MultiIndex, Pandas verifica l’ordinamento lessicografico su tutti i livelli. Esegua sempre questo controllo prima delle operazioni di slicing con .loc[start:end] su un MultiIndex: un indice non ordinato genera UnsortedIndexError oppure restituisce silenziosamente risultati errati, a seconda della versione di Pandas.

df.sort_index() restituisce un nuovo DataFrame con le righe ordinate per etichetta dell’indice in ordine crescente. Utilizzi ascending=False per l’ordine decrescente. Per un MultiIndex, l’ordinamento è lessicografico: prima ordina in base al livello più esterno, poi in base ai livelli interni all’interno di ogni gruppo esterno. Ordini sempre l’indice dopo qualsiasi operazione che potrebbe alterarlo — ad esempio pd.concat, il filtraggio o l’aggiunta di nuove righe.

Il modulo Python timeit misura il tempo necessario per eseguire un’istruzione eseguendola molte volte e calcolandone la media. Lo utilizzi per confrontare le ricerche su indici ordinati e non ordinati. In IPython/Jupyter, la magic %timeit offre la stessa funzionalità con un output più leggibile. Il benchmarking è l’unico metodo affidabile per verificare che un’ottimizzazione delle prestazioni abbia effettivamente prodotto un miglioramento: non dia mai per scontato che una modifica sia più veloce senza misurarla.

Pandas emette un PerformanceWarning quando si esegue lo slicing di un MultiIndex non ordinato lessicograficamente: 'indexing past lexsort depth may impact performance'. Questo avviso indica che Pandas ha dovuto ricorrere a una scansione lineare invece della ricerca binaria. Sebbene nei casi semplici restituisca comunque risultati corretti, può restituire risultati errati quando si esegue lo slicing dei livelli interni di un indice multilivello non ordinato. Tratti questo avviso come un errore e risolva la causa alla radice ordinando l’indice.

Lo slicing di un MultiIndex ordinato è notevolmente più veloce perché Pandas può eseguire una ricerca binaria sia sugli array del livello esterno sia su quelli del livello interno. Eseguiamo il benchmark dello slicing di un MultiIndex di grandi dimensioni con 1 milione di righe, una dimensione comune nelle pipeline di analisi di produzione. La versione ordinata evita la scansione lineare e mostra costantemente accelerazioni da 5 a 50 volte, a seconda della selettività dello slice.

Per un MultiIndex, può ordinare in base a un livello specifico invece che a tutti i livelli utilizzando il parametro level: df.sort_index(level='year'). È utile quando desidera mantenere il raggruppamento del livello esterno, riordinando però le righe all’interno di ciascun gruppo esterno. L’argomento sort_remaining=True (predefinito) ordina anche gli eventuali livelli non ordinati oltre a quello specificato, garantendo un ordinamento lessicografico completo.

Nelle pipeline di produzione, aggiunga una protezione sull’ordinamento all’inizio di ogni funzione che riceve un DataFrame con un MultiIndex ed esegue operazioni di slicing. Se l’indice non è ordinato, lo ordini automaticamente e registri un avviso. In questo modo si evitano cali silenziosi delle prestazioni o risultati errati quando il codice a monte modifica l’ordine del DataFrame. Una protezione al confine della funzione è più affidabile che presumere che i chiamanti passino sempre dati ordinati.

I vantaggi in termini di prestazioni dell’ordinamento si applicano anche agli indici regolari (non multi). Un DatetimeIndex utilizzato nell’analisi di serie temporali esegue molto più rapidamente lo slicing di intervalli di date quando è ordinato. Un indice di stringhe ordinato alfabeticamente consente la ricerca binaria delle etichette. Per una Series di grandi dimensioni contenente prezzi azionari indicizzati per timestamp, ordinare il DatetimeIndex può trasformare uno slicing di 100 ms in un’operazione da meno di un millisecondo.

L’ordinamento non è gratuito: sort_index() crea una nuova copia del DataFrame (a meno che non si utilizzi inplace=True, che modifica il DataFrame direttamente). Per DataFrame molto grandi, questo raddoppia temporaneamente il picco di utilizzo della memoria. Una strategia pratica consiste nell’ordinare una sola volta al caricamento e mantenere la versione ordinata per tutta la pipeline, invece di ordinare ripetutamente. Se la memoria è limitata, ordini direttamente il DataFrame con df.sort_index(inplace=True) per evitare la copia temporanea.

Regole fondamentali per le prestazioni degli indici: 1) Chiami sempre sort_index() dopo qualsiasi operazione che potrebbe alterare l’ordine dell’indice (concat, merge, append, filtro). 2) Utilizzi is_monotonic_increasing come protezione nelle funzioni che eseguono lo slicing dell’indice. 3) Ordini i dati al caricamento e mantenga il DataFrame ordinato per tutta la pipeline, evitando ordinamenti ripetuti. 4) Per i DataFrame con MultiIndex, si assicuri che siano ordinati tutti i livelli, non solo quello più esterno. 5) Utilizzi timeit per verificare che l’ordinamento offra effettivamente l’accelerazione prevista nella pipeline specifica.

Verifichi la sua comprensione delle prestazioni degli indici ordinati presentate in questa lezione.

In questa lezione ha imparato che is_monotonic_increasing verifica se un indice è ordinato e se è disponibile la ricerca binaria, sort_index() ordina direttamente oppure restituisce una copia ordinata, e timeit misura l’effettiva accelerazione per confermare il vantaggio. Nella prossima lezione esploreremo le funzioni di finestra: statistiche rolling ed expanding per serie temporali e dati finanziari.