Создание MultiIndex

MultiIndex (также называемый иерархическим индексом) позволяет DataFrame или Series Pandas иметь несколько уровней меток строк. Представьте его как составной ключ в базе данных: вместо идентификации строки по одной метке Вы идентифицируете её кортежем, например (страна, город) или (год, квартал). MultiIndexes необходимы для представления панельных данных, временных рядов с поперечными срезами и любых наборов данных с естественной двухуровневой структурой группировки.

pd.MultiIndex.from_tuples(list_of_tuples, names=) — наиболее явный способ создать MultiIndex. Каждый кортеж становится одной меткой строки, а его элементы — уровнями. Параметр names задаёт имя каждому уровню, например ['year', 'quarter']. Этот метод удобен, когда у Вас уже есть подготовленный список составных ключей, который Вы хотите использовать в качестве индекса строк.

pd.MultiIndex.from_product(iterables, names=) создаёт MultiIndex на основе декартова произведения нескольких списков — всех возможных сочетаний элементов входных списков. Это самый удобный метод, когда в данных должны присутствовать все сочетания уровней. Например, все сочетания 3 лет × 4 кварталов × 5 регионов автоматически создают сбалансированную панель из 60 строк.

На практике чаще всего MultiIndex создают так: начинают с обычного DataFrame, содержащего столбцы для группировки, а затем вызывают df.set_index([col1, col2]). Эти столбцы преобразуются из столбцов данных в уровни индекса. Результат такой же, как при создании индекса с нуля с помощью from_tuples, но при работе с табличными данными требуется всего одна строка.

MultiIndex хранит данные в уровнях (уникальных значениях каждого уровня) и кодах (целочисленных указателях на массивы уровней). Изучайте уровни с помощью df.index.levels или df.index.get_level_values(level). Используйте df.index.nlevels, чтобы проверить количество уровней. Атрибут names содержит имена, назначенные каждому уровню; задавайте их с помощью df.index.set_names(['level0', 'level1']).

MultiIndex можно также применить к столбцам, создав иерархию меток столбцов. Это распространённый подход при хранении нескольких показателей для каждой категории в структуре в стиле сводной таблицы — например, (выручка, Q1), (выручка, Q2), (затраты, Q1), (затраты, Q2). Обращайтесь к столбцам с MultiIndex так же, как к строкам, — используя кортежи. Создайте MultiIndex столбцов с помощью pd.MultiIndex.from_product и присвойте его df.columns.

Когда Вы вызываете groupby([col1, col2]).agg(...), результирующий DataFrame получает MultiIndex строк (два ключа groupby становятся двумя уровнями индекса) и, возможно, MultiIndex столбцов (если Вы агрегируете несколько показателей). Чаще всего с MultiIndex сталкиваются именно так — при повседневном анализе данных. Понимание способов навигации по нему необходимо для работы с результатами groupby.

Используйте df.swaplevel(), чтобы поменять местами два уровня индекса, и df.reorder_levels([...]), чтобы изменить порядок всех уровней. Изменение порядка полезно, когда Вы хотите сначала выполнять срез по внутреннему уровню или когда у двух DataFrame уровни индекса расположены в разном порядке и их нужно выровнять перед объединением. После изменения порядка всегда вызывайте sort_index(), чтобы восстановить лексикографический порядок для эффективного формирования срезов.

Формирование срезов MultiIndex эффективно только тогда, когда индекс отсортирован лексикографически. Проверьте, отсортирован ли индекс, с помощью df.index.is_monotonic_increasing. Если возвращается False, выполните сортировку с помощью df.sort_index(). Несортированный MultiIndex вызывает PerformanceWarning при операциях со срезами и в некоторых крайних случаях может возвращать неверные результаты — всегда сортируйте MultiIndex после создания или изменения.

Вызовите df.reset_index(), чтобы преобразовать все уровни индекса обратно в обычные столбцы, оставив DataFrame с простым целочисленным RangeIndex. Это распространённый приём после агрегации groupby: сначала вычислите сгруппированную сводку с MultiIndex, затем сбросьте индекс, чтобы получить плоский DataFrame, подходящий для дальнейших операций Pandas, объединения или экспорта в CSV. Используйте reset_index(level='name'), чтобы сбросить только один уровень двухуровневого индекса.

Используйте MultiIndex, когда Ваши данные имеют естественную иерархическую структуру: временные ряды с детализацией меньше дня (дата + час), панельные данные (объект + период времени) или вложенные группировки (страна + регион + город). Не используйте MultiIndexes для простых ключей группировки из двух столбцов, если плоский DataFrame с отдельными столбцами столь же понятен. Если Вам постоянно приходится вызывать reset_index() только для доступа к данным, это признак того, что MultiIndex не приносит пользы в Вашем рабочем процессе.

Проверьте, насколько Вы поняли создание MultiIndex из этого урока.

В этом уроке Вы узнали, что MultiIndexes предоставляют иерархические метки строк (или столбцов) с использованием кортежей, создаются с помощью from_tuples, from_product или set_index для нескольких столбцов и всегда должны быть отсортированы для эффективного формирования срезов. Далее мы рассмотрим выбор данных из MultiIndex с помощью .loc, кортежей, срезов и вспомогательного средства IndexSlice.