Ydelsesfordele ved sorterede indekser

Et sorteret indeks gør det muligt for Pandas at bruge binær søgning (O(log n)) i stedet for en fuld lineær gennemgang (O(n)), når der slås op i etiketintervaller. For en DataFrame med en million rækker finder binær søgning målintervallet med cirka 20 sammenligninger mod op til en million sammenligninger ved en lineær gennemgang. Det gør udsnitsoperationer på sorterede MultiIndexes mange størrelsesordener hurtigere end på usorterede — og forskellen bliver afgørende i produktionspipelines, der behandler millioner af rækker.

Brug df.index.is_monotonic_increasing til at kontrollere, om indekset er sorteret i stigende rækkefølge. Det returnerer en boolsk værdi. For et MultiIndex kontrollerer Pandas sorteringen leksikografisk på tværs af alle niveauer. Kontrollér altid dette, før du udfører udsnitsoperationer med .loc[start:end] på et MultiIndex — et usorteret indeks udløser enten UnsortedIndexError eller returnerer lydløst forkerte resultater, afhængigt af Pandas-versionen.

df.sort_index() returnerer en ny DataFrame med rækker sorteret efter indeks etiketten i stigende rækkefølge. Brug ascending=False til faldende rækkefølge. For et MultiIndex er sorteringen leksikografisk: først sorteres der efter det yderste niveau, derefter efter de indre niveauer inden for hver ydre gruppe. Sortér altid efter operationer, der kan bringe indekset ud af orden — f.eks. pd.concat, filtrering eller tilføjelse af nye rækker.

Pythons modul timeit måler, hvor lang tid det tager at udføre en sætning, ved at køre den mange gange og beregne gennemsnittet. Brug det til at sammenligne opslag i sorterede og usorterede indekser. I IPython/Jupyter giver magien %timeit den samme funktionalitet med en mere overskuelig resultatvisning. Måling er den eneste pålidelige måde at bekræfte, at en optimering af ydeevnen faktisk hjalp — antag aldrig, at en ændring er hurtigere, uden at måle det.

Pandas udsender en PerformanceWarning, når du laver et udsnit af et MultiIndex, der ikke er sorteret leksikografisk: 'indeksering efter lexsort-dybden kan påvirke ydeevnen'. Denne advarsel betyder, at Pandas måtte falde tilbage på en lineær gennemgang i stedet for binær søgning. Selvom den stadig returnerer korrekte resultater i simple tilfælde, kan den returnere forkerte resultater, når der laves udsnit af indre niveauer i et usorteret indeks med flere niveauer. Behandl denne advarsel som en fejl, og løs den egentlige årsag ved at sortere indekset.

Udsnit af et sorteret MultiIndex er markant hurtigere, fordi Pandas kan udføre binær søgning i både arrays for det ydre og det indre niveau. Lad os måle udsnit af et stort MultiIndex med 1 million rækker — en almindelig størrelse i produktionspipelines til analyse. Den sorterede version undgår den lineære gennemgang og viser konsekvent hastighedsforbedringer på 5-50× afhængigt af udsnittets selektivitet.

For et MultiIndex kan du sortere efter et bestemt niveau i stedet for alle niveauer ved hjælp af parameteren level: df.sort_index(level='year'). Det er nyttigt, når du vil bevare grupperingen på det ydre niveau, men omorganisere rækkerne inden for hver ydre gruppe. Argumentet sort_remaining=True (standard) sorterer også eventuelle usorterede niveauer efter det angivne niveau og sikrer dermed fuld leksikografisk sortering.

Tilføj i produktionspipelines en sorteringsvagt i starten af enhver funktion, der modtager en DataFrame med et MultiIndex og udfører udsnit. Hvis indekset ikke er sorteret, skal du sortere det automatisk og skrive en advarsel i loggen. Det forhindrer en ubemærket forringelse af ydeevnen eller forkerte resultater, når kode opstrøms ændrer rækkefølgen i DataFrame. En vagt ved funktionsgrænsen er mere pålidelig end at antage, at kaldende kode altid sender sorterede data.

Fordelene ved sortering gælder også for almindelige indekser (ikke-multiindekser). En DatetimeIndex, der bruges til tidsserieanalyse, udfører udsnit af datointervaller langt hurtigere, når det er sorteret. Et strengindeks, der er sorteret alfabetisk, gør binær søgning mulig ved opslag efter etiketter. For en stor Series med aktiekurser indekseret efter tidsstempler kan sortering af DatetimeIndex ændre et udsnit fra 100 ms til en operation på under et millisekund.

Sortering er ikke gratis — sort_index() opretter en ny kopi af DataFrame (medmindre du bruger inplace=True, som ændrer den på stedet). For meget store DataFrames fordobler det midlertidigt det maksimale hukommelsesforbrug. En pragmatisk strategi er at sortere én gang ved indlæsning og bevare den sorterede version gennem hele pipelinen i stedet for at sortere gentagne gange. Hvis hukommelsen er begrænset, kan du sortere på stedet med df.sort_index(inplace=True) for at undgå den midlertidige kopi.

Vigtige regler for indeksydeevne: 1) Kald altid sort_index() efter enhver operation, der kan bringe indekset ud af orden (concat, merge, append, filter). 2) Brug is_monotonic_increasing som vagt i funktioner, der laver udsnit af indekset. 3) Sortér ved indlæsning, og bevar den sorterede DataFrame gennem hele pipelinen for at undgå gentagen sortering. 4) Sørg for, at alle niveauer i DataFrames med MultiIndex er sorterede, ikke kun det yderste. 5) Brug timeit til at kontrollere, at sortering faktisk giver den forventede hastighedsforbedring i netop din pipeline.

I denne lektion lærte du, at is_monotonic_increasing kontrollerer, om et indeks er sorteret, og om binær søgning er mulig, at sort_index() sorterer på stedet eller returnerer en sorteret kopi, og at timeit måler den faktiske hastighedsforbedring for at bekræfte fordelen. Dernæst undersøger vi vinduesfunktioner — rullende og ekspanderende statistikker for tidsserier og finansielle data.