Rang und Perzentil innerhalb von Gruppen

Rohwerte sind oft weniger aussagekräftig als relative Rangpositionen. Ein Vertriebsmitarbeiter mit einem monatlichen Umsatz von 50.000 $ ist ein Spitzenmitarbeiter, wenn der Durchschnitt bei 30.000 $ liegt, aber ein leistungsschwacher Mitarbeiter, wenn der Durchschnitt 80.000 $ beträgt. Wenn Sie Ränge innerhalb von Gruppen berechnen (z. B. innerhalb jeder Region oder jedes Quartals), erhalten Sie einen normalisierten Vergleich, der unterschiedliche Ausgangsniveaus zwischen Gruppen berücksichtigt. Pandas erleichtert die Rangbildung innerhalb von Gruppen mit groupby().rank().

Series.rank() weist jedem Wert einen Rang zu: Rang 1 ist der kleinste, Rang n der größte Wert. Der Parameter ascending=False kehrt die Richtung um, sodass Rang 1 dem größten Wert entspricht. Das Ergebnis ist eine Series vom Typ Float (keine Ganzzahl), weil gleiche Werte standardmäßig durch den Mittelwert der gebundenen Ränge behandelt werden. Bei einer Spalte mit 5 Werten reichen die Ränge von 1.0 bis 5.0 – bei gleichen Werten können sich einige Werte jedoch einen Rang wie 2.5 teilen.

Der Parameter method legt fest, wie gleiche Werte behandelt werden. Optionen: 'average' (Standard – gleiche Werte erhalten den Mittelwert ihrer Ränge), 'min' (alle gleichen Werte erhalten den niedrigsten Rang), 'max' (alle erhalten den höchsten Rang), 'first' (Ränge werden in der Reihenfolge des Auftretens vergeben – keine Bindungen) und 'dense' (keine Lücken in den Rängen – 1, 2, 3, 3, 4 wird zu 1, 2, 3, 3, 4 statt zu 1, 2, 3, 3, 5). Die Methode 'dense' eignet sich besonders für Rangbildungen im Perzentilstil.

groupby('group_col')['value_col'].rank() berechnet Ränge unabhängig innerhalb jeder Gruppe. Der Rang wird am Anfang jeder Gruppe zurückgesetzt – der beste Mitarbeiter in der Region East erhält also in East den Rang 1, und der beste Mitarbeiter in West ebenfalls den Rang 1 in West. Dadurch eignet sich groupby rank so gut für faire Vergleiche zwischen Gruppen.

Wenn Sie in rank() pct=True setzen, wird der Perzentilrang zurückgegeben: ein Wert zwischen 0 und 1, der angibt, welcher Anteil der Werte in der Gruppe kleiner oder gleich dem aktuellen Wert ist. Ein Perzentilrang von 0.8 bedeutet, dass der Wert im 80. Perzentil liegt – er ist größer als 80 % aller Werte. Durch diese Normalisierung lassen sich Werte aus Gruppen unterschiedlicher Größe direkt vergleichen, ohne die tatsächliche Gruppengröße zu kennen.

pd.qcut(series, q) teilt Werte in q gleich häufig besetzte Intervalle auf, sodass jedes Intervall ungefähr die gleiche Anzahl an Beobachtungen enthält. Im Gegensatz zu pd.cut, das Intervalle gleicher Breite verwendet, passt pd.qcut die Intervallgrenzen an die Verteilung der Daten an. Das eignet sich ideal zum Erstellen von Quartilen (q=4), Quintilen (q=5) oder Dezilen (q=10) für Leistungsstufen.

pd.cut(series, bins=n) erstellt Intervalle gleicher Breite (gleiche Spannweite, unterschiedliche Anzahl an Werten). pd.qcut(series, q=n) erstellt Intervalle gleicher Häufigkeit (gleiche Anzahl an Werten, unterschiedliche Spannweiten). Bei schief verteilten Daten sind die Intervalle am Rand bei pd.cut nahezu leer, während pd.qcut die Beobachtungen gleichmäßig verteilt. Wählen Sie pd.cut, wenn die Intervallgrenzen eine natürliche geschäftliche Bedeutung haben (Preisspannen, Altersgruppen), und pd.qcut für Leistungsstufen, bei denen Sie gleich große Gruppen erhalten möchten.

pd.qcut(series, q=10, labels=range(1,11)) weist jede Beobachtung ihrem Dezil (1 bis 10) zu. Dies ist eine Standardtechnik in der Marketinganalyse (Kundenswertdezile), bei der Kreditbewertung (Risikodezile) und bei AB-Tests (Trafficdezile zur Kohortenanalyse). Der Parameter labels kann jede Liste mit derselben Länge wie q sein – verwenden Sie für eine besser lesbare Ausgabe Zeichenketten wie ['Bottom 10%', ..., 'Top 10%'].

Kombinieren Sie groupby mit pd.qcut und verwenden Sie transform, um Perzentilintervalle innerhalb jeder Gruppe zu erstellen. Das ist nützlich, wenn Sie Kunden innerhalb jeder Region statt global einordnen möchten – ein Kunde im globalen unteren Dezil kann im Dezil seiner Region an der Spitze liegen. Verwenden Sie groupby('group')['value'].transform(lambda x: pd.qcut(x, q=4, labels=['Q1','Q2','Q3','Q4'])).

Eine häufige geschäftliche Frage lautet: „Wer sind die drei leistungsstärksten Mitarbeiter in jeder Region?“ Verwenden Sie groupby().rank() und filtern Sie anschließend nach dem Rang: df[df['rank_col'] <= 3]. Dies funktioniert unabhängig von der Gruppengröße und behandelt Bindungen auf sinnvolle Weise, indem bei gleichen Rängen am Grenzwert mehr als drei Zeilen beibehalten werden. Alternativ können Sie groupby().nlargest(n) verwenden, das direkt die n größten Werte je Gruppe zurückgibt, ohne eine Rangspalte hinzuzufügen.

Sie können groupby().rank(pct=True) mit transform kombinieren, um dem ursprünglichen DataFrame eine Perzentilrangspalte hinzuzufügen. Diese normalisierte Spalte ist als Modellmerkmal oft nützlicher als der Rohwert – sie ist skalenunabhängig und zwischen Gruppen vergleichbar. Im maschinellen Lernen sind Perzentilränge eine einfache Alternative zur Standardisierung (z-Transformation), die robuster gegenüber Ausreißern ist.

Testen Sie Ihr Verständnis der Rang- und Perzentiloperationen aus dieser Lektion.

In dieser Lektion haben Sie gelernt: Series.rank() berechnet numerische Ränge mit konfigurierbarer Auflösung von Rangbindungen, groupby().rank() setzt die Ränge innerhalb jeder Gruppe zurück und ermöglicht dadurch faire Vergleiche zwischen Gruppen, pct=True wandelt Ränge in Perzentile (0 bis 1) um, und pd.qcut erstellt Intervalle gleicher Häufigkeit für Quartil-, Dezil- und Perzentilstufen. Als Nächstes untersuchen wir Tipps zur Pandas-Performance – Profiling, das Vermeiden langsamer Schleifen und effiziente Datentypen.