Ранги и процентили внутри групп

Исходные значения часто менее информативны, чем относительные ранги. Торговый представитель с ежемесячной выручкой 50 000 долларов является одним из лучших, если средняя выручка составляет 30 000 долларов, но слабым сотрудником, если средняя выручка равна 80 000 долларов. Вычисляя ранги внутри групп (например, ранг в каждом регионе или каждом квартале), Вы получаете нормализованное сравнение, учитывающее разные базовые уровни в группах. Pandas упрощает вычисление рангов внутри групп с помощью groupby().rank().

Series.rank() присваивает ранг каждому значению: ранг 1 получает наименьшее значение, а ранг n — наибольшее. Параметр ascending=False меняет направление, поэтому ранг 1 получает наибольшее значение. Результатом является Series с числами с плавающей точкой, а не целыми числами, поскольку по умолчанию одинаковые значения получают среднее арифметическое их рангов. Для столбца из 5 значений ранги находятся в диапазоне от 1.0 до 5.0; при наличии совпадений некоторые значения могут получить общий ранг, например 2.5.

Параметр method определяет, что происходит со значениями, имеющими одинаковый ранг. Возможные варианты: 'average' (по умолчанию — одинаковые значения получают среднее своих рангов), 'min' (все одинаковые значения получают наименьший ранг), 'max' (все получают наибольший ранг), 'first' (ранги присваиваются в порядке появления — одинаковых рангов нет) и 'dense' (в рангах нет пропусков — последовательность 1, 2, 3, 3, 4 остаётся 1, 2, 3, 3, 4, а не превращается в 1, 2, 3, 3, 5). Метод 'dense' особенно полезен для ранжирования в стиле процентилей.

groupby('group_col')['value_col'].rank() вычисляет ранги независимо внутри каждой группы. В начале каждой группы ранжирование начинается заново: лучший результат в восточном регионе получает ранг 1 в своей группе, и лучший результат в западном регионе также получает ранг 1 в своей группе. Благодаря этому groupby rank так полезен для справедливого сравнения разных групп.

Если в rank() задать pct=True, функция возвращает процентильный ранг — значение от 0 до 1, показывающее, какая доля значений в группе меньше либо равна текущему значению. Процентильный ранг 0.8 означает, что значение находится на уровне 80-го процентиля — оно выше 80% всех значений. Такая нормализация позволяет напрямую сравнивать значения из групп разного размера, не зная фактическое количество элементов в группах.

pd.qcut(series, q) делит значения на интервалы с одинаковым количеством наблюдений, поэтому каждый интервал содержит примерно одинаковое число наблюдений. В отличие от pd.cut, который использует интервалы одинаковой ширины, pd.qcut адаптирует границы интервалов к распределению данных. Это удобно для создания квартилей (q=4), квинтилей (q=5) или децилей (q=10) для уровней результативности.

pd.cut(series, bins=n) создаёт интервалы одинаковой ширины (одинаковый диапазон, разное количество значений). pd.qcut(series, q=n) создаёт интервалы с одинаковым количеством значений (одинаковое количество, разные диапазоны). Для асимметричных данных pd.cut создаёт почти пустые интервалы на хвостах распределения, тогда как pd.qcut равномерно распределяет наблюдения. Выбирайте pd.cut, когда границы интервалов имеют естественный смысл для бизнеса (диапазоны цен, возрастные группы), а pd.qcut — для уровней результативности, где нужны группы одинакового размера.

pd.qcut(series, q=10, labels=range(1,11)) назначает каждому наблюдению его дециль (от 1 до 10). Это стандартный приём в маркетинговой аналитике (децили ценности клиентов), кредитном скоринге (децили риска) и тестировании AB (децили трафика для анализа когорт). Параметр labels может принимать любой список той же длины, что и q. Для более понятного результата используйте строки вроде ['Bottom 10%', ..., 'Top 10%'].

Объедините groupby и pd.qcut с помощью transform, чтобы создать процентильные интервалы внутри каждой группы. Это полезно, когда нужно ранжировать клиентов внутри каждого региона, а не глобально: клиент, находящийся в нижнем глобальном дециле, может оказаться в верхнем дециле своего региона. Используйте groupby('group')['value'].transform(lambda x: pd.qcut(x, q=4, labels=['Q1','Q2','Q3','Q4'])).

Распространённый деловой вопрос: «кто входит в тройку лучших сотрудников каждого региона?» Используйте groupby().rank(), а затем отфильтруйте данные по рангу: df[df['rank_col'] <= 3]. Этот способ корректно работает с группами любого размера и учитывает одинаковые ранги: если на границе есть совпадения, в результат попадёт больше трёх строк. Другой вариант — groupby().nlargest(n), который напрямую возвращает n наибольших значений для каждой группы, не добавляя столбец с рангом.

С помощью groupby().rank(pct=True) вместе с transform можно добавить в исходный DataFrame столбец с процентильным рангом. Такой нормализованный столбец часто полезнее для модели, чем исходное значение: он не зависит от масштаба и позволяет сравнивать группы. В машинном обучении процентильные ранги — простой и более устойчивый к выбросам вариант стандартизации (z-преобразования).

Проверьте, насколько хорошо Вы поняли операции ранжирования и вычисления процентилей из этого урока.

В этом уроке Вы узнали: Series.rank() вычисляет числовые ранги с настраиваемой обработкой одинаковых значений, groupby().rank() начинает ранжирование заново внутри каждой группы для справедливого сравнения групп, pct=True преобразует ранги в процентили (от 0 до 1), а pd.qcut создаёт интервалы с одинаковым количеством значений для распределения по квартилям, децилям и процентильным уровням. Далее мы рассмотрим способы повысить производительность Pandas: профилирование, отказ от медленных циклов и эффективные типы данных.