crosstab для таблиц частот

Перекрёстная таблица (crosstab) подсчитывает, сколько раз в наборе данных встречается каждая комбинация значений двух или более категориальных переменных. Это частный случай сводной таблицы, предназначенный именно для подсчёта. Pandas предоставляет pd.crosstab() как краткий способ вычислять такие таблицы частот без явного вызова groupby() или pivot_table().

Минимальный вызов pd.crosstab(index, columns) принимает два входа, подобных массивам (обычно столбцы DataFrame), и возвращает таблицу частот. Строки соответствуют уникальным значениям первого аргумента, а столбцы — уникальным значениям второго. В каждой ячейке содержится количество строк, в которых оба значения встречаются вместе в исходных данных.

Используйте параметры rownames и colnames, чтобы задать содержательные имена для осей строк и столбцов в результате вместо стандартных имён Series. Это полезно, если исходные имена столбцов в DataFrame сами по себе не объясняют смысл таблицы.

Передайте margins=True, чтобы добавить строку и столбец с итогами по всем значениям. По умолчанию метка итогов — 'All', но её можно изменить с помощью margins_name. Строка итогов показывает общее количество по каждому столбцу, столбец итогов — общее количество по каждой строке, а нижняя правая ячейка содержит общий итог.

Передайте параметр normalize, чтобы преобразовать количества в доли. normalize=True или normalize='all' делит значения на общий итог. normalize='index' вычисляет доли по строкам (сумма каждой строки равна 1.0). normalize='columns' вычисляет доли по столбцам (сумма каждого столбца равна 1.0). Доли информативнее исходных количеств, когда размеры групп различаются.

По умолчанию crosstab подсчитывает строки. Вместо этого можно агрегировать числовой столбец, передав параметры values и aggfunc, — аналогично pivot_table(). Например, можно вычислить общий доход для каждой комбинации пола и продукта. Благодаря этому crosstab почти эквивалентен pivot_table, но имеет немного более краткий синтаксис для создания таблиц частот.

Передайте список в index или columns, чтобы создать перекрёстную таблицу с несколькими уровнями строк или столбцов. В результате будет MultiIndex, обеспечивающий более подробную разбивку. Например, перекрёстная таблица с полом и регионом в строках и продуктом в столбцах показывает каждую комбинацию пола, региона и продукта.

pd.crosstab() и pd.pivot_table() во многом пересекаются. crosstab оптимизирован для подсчёта частот и напрямую принимает входы, подобные массивам (а не DataFrame), поэтому для быстрых таблиц он немного компактнее. pivot_table работает с DataFrame и изначально поддерживает любую функцию агрегации. Для задач, связанных исключительно с подсчётом, выбирайте crosstab; для агрегирования числовых значений предпочитайте pivot_table.

Перекрёстная таблица является стандартным входом для критерия хи-квадрат на независимость, который проверяет, связаны ли статистически две категориальные переменные. Функция scipy.stats.chi2_contingency() напрямую принимает массив перекрёстной таблицы. Это один из самых распространённых способов использования crosstab в статистическом анализе данных: сначала вы вычисляете таблицу, а затем проверяете её в рамках одного процесса.

Перекрёстные таблицы с большим количеством категорий трудно интерпретировать по исходным числам. Визуализация в виде тепловой карты с помощью sns.heatmap() сразу делает закономерности заметными: ячейки с высокой частотой отображаются яркими цветами. Передайте нормализованную версию, чтобы показать доли вместо исходных количеств, и используйте annot=True, чтобы отображать значения в каждой ячейке.

Полный процесс работы с перекрёстной таблицей выглядит так: загрузить данные опроса, вычислить таблицы частот между демографическими переменными и переменными ответов, нормализовать по строкам, чтобы получить показатели ответов, и выявить сильные закономерности. Это стандартный процесс анализа в маркетинговых исследованиях, A/B-тестировании и сегментации пользователей, который можно выполнить менее чем в 10 строках кода Pandas.

В этом уроке вы узнали, что pd.crosstab() вычисляет частоты комбинаций двух категориальных переменных; normalize преобразует количества в доли по строкам, столбцам или общую долю; margins=True добавляет итоги строк и столбцов; а результат crosstab напрямую совместим с критериями хи-квадрат и визуализацией в виде тепловой карты. Далее мы начнём работать с данными временных рядов, используя DatetimeIndex и диапазоны периодов.