Ранжирование значений

Ранжирование присваивает каждому значению Series позицию на основе его относительной величины: ранг 1 — наименьшему значению, ранг n — наибольшему (или наоборот). В отличие от сортировки, которая переупорядочивает строки, rank() добавляет новый столбец с порядковыми позициями рядом с исходными данными. Ранги используются в таблицах лидеров, при вычислении процентилей и в некоторых статистических тестах, требующих порядковой позиции, а не абсолютных значений.

По умолчанию rank() присваивает ранг 1 наименьшему значению (по возрастанию). Чтобы присвоить ранг 1 наибольшему значению (например, первому месту в соревновании), передайте ascending=False. Это соответствует принятому в спорте, таблицах лидеров и рейтингах продаж правилу: «первое место = самый высокий результат».

Когда несколько строк имеют одинаковое значение (ничья), параметр method определяет, как присваиваются ранги. Доступны следующие варианты: 'average' (по умолчанию — связанные строки получают средний ранг), 'min' (все связанные строки получают наименьший ранг), 'max' (все получают наибольший ранг), 'first' (строка, расположенная первой, получает меньший ранг) и 'dense' (после одинаковых рангов номера рангов не пропускаются).

Метод 'dense' особенно полезен, когда нужна нумерация рангов без пропусков. При использовании 'min' две записи, занявшие 2-е место, приводят к тому, что следующий ранг будет равен 4 (ранг 3 пропускается). При использовании 'dense' следующий ранг всегда равен 3, поэтому последовательность остаётся непрерывной. Плотная нумерация рангов используется по стандарту в оконной функции SQL DENSE_RANK() и часто применяется в таблицах лидеров.

Установка pct=True в rank() нормализует ранги к диапазону [0, 1], формируя процентильный ранг. Значение с процентильным рангом 0.8 выше 80% значений в столбце. Это применяется в финансах (процентильная оценка результатов), при выставлении оценок (процентили баллов) и для обнаружения выбросов.

Чтобы независимо вычислять ранги внутри каждой группы (например, ранг зарплаты в каждом отделе), объедините groupby() и rank(). Используйте groupby().rank(): она применяет функцию ранжирования к каждой группе и возвращает Series, согласованный с исходным индексом DataFrame — это идеально подходит для добавления столбца «ранг внутри группы».

pd.cut(series, bins) делит непрерывный числовой столбец на интервалы одинаковой ширины (интервалы) и относит каждое значение к своему интервалу. Это преобразует непрерывную переменную в категориальную и полезно для гистограмм, возрастных групп, диапазонов дохода и любых задач дискретизации. В результате получается категориальный Series с метками интервалов.

pd.qcut(series, q) делит значения на интервалы, основанные на квантилях, при этом каждый интервал содержит примерно одинаковое число наблюдений. В отличие от pd.cut() (одинаковая ширина), pd.qcut() создаёт группы одинакового размера — это полезно для сегментации по процентилям, например при разбиении на децили, квинтили или квартили.

Используйте pd.cut(), когда интервалы имеют естественный смысл в предметной области (например, возрастные диапазоны 0–18, 18–35, 35–60), то есть ширина интервалов важна с точки зрения смысла. Используйте pd.qcut(), когда нужны группы одинакового размера независимо от положения границ — например, чтобы разделить клиентов на верхний и нижний квартили. При асимметричном распределении cut() создаёт очень неравные группы, а qcut() — группы одинакового размера.

Удобный шаблон для создания таблицы с ранжированными результатами таков: отсортировать данные по убыванию, сбросить индекс до начинающегося с 0, прибавить 1 для понятной человеку нумерации с 1 и вывести ранг рядом с исходными данными. В результате получается готовая к представлению таблица лидеров без пропусков и с аккуратными номерами рангов.

Признаки, преобразованные в ранги, полезны в машинном обучении, поскольку они устойчивы к выбросам: очень большое или очень маленькое значение получает ранг, близкий к одному из крайних, вместо того чтобы искажать распределение признака. Ранговое преобразование иногда используют на этапе предварительной обработки перед моделями на основе деревьев или когда числовой масштаб не имеет значения, но важен относительный порядок.

В этом уроке Вы узнали: rank() присваивает значениям порядковые позиции, method='dense' предотвращает пропуски после одинаковых рангов, pct=True возвращает процентильные ранги в диапазоне [0,1], а groupby().rank() вычисляет ранги внутри групп. Используйте pd.cut() для интервалов одинаковой ширины, а pd.qcut() — для интервалов с одинаковой частотой при дискретизации непрерывных переменных. Далее Вы научитесь задавать и сбрасывать индекс DataFrame.