Объединение по индексу

До сих пор Вы объединяли DataFrames, сопоставляя значения в обычных столбцах. Но иногда нужная информация для сопоставления хранится в индексе DataFrame, а не в столбце. Pandas поддерживает объединения по индексу через DataFrame.join(), а также через pd.merge() с параметрами left_index=True или right_index=True.

DataFrame.join(other) — это вспомогательный метод, который по умолчанию объединяет по индексу обоих DataFrames. Он эквивалентен вызову pd.merge() с параметрами left_index=True, right_index=True. Тип объединения по умолчанию — 'left', в отличие от pd.merge(), где по умолчанию используется 'inner'. Для корректного результата оба DataFrame должны иметь содержательные метки индекса.

Передайте параметр how в join(), чтобы управлять сохраняемыми строками, как и в pd.merge(). Доступны варианты 'left' (по умолчанию), 'right', 'inner' и 'outer'. Например, how='inner' сохраняет только индексы, присутствующие в обоих DataFrames, удаляя строку alice, если для неё нет соответствующего индекса в правой таблице.

Главное преимущество join() перед pd.merge() заключается в том, что он принимает список DataFrames и объединяет их с исходным DataFrame за один вызов. Все DataFrames должны быть выровнены по индексу. Это очень удобно, когда у Вас есть много таблиц признаков, проиндексированных одним и тем же ключом, например идентификатором пользователя или датой, и Вы хотите собрать их в один широкий DataFrame.

pd.merge() позволяет сочетать сопоставление по столбцу и по индексу с помощью left_on/right_index или left_index/right_on. Это полезно, когда один DataFrame хранит ключ в столбце, а другой использует его как индекс. С помощью одного только join() этого добиться нельзя.

Если в обоих DataFrames ключ является индексом, используйте pd.merge(left, right, left_index=True, right_index=True). Это эквивалентно join(), но с типом объединения 'inner' по умолчанию и более явными параметрами. Кроме того, Вы получаете доступ ко всем остальным параметрам pd.merge(), таким как suffixes и indicator.

Объединения по индексу предпочтительны, когда DataFrames естественным образом индексируются содержательным идентификатором, например идентификатором пользователя, артикулом товара SKU или датой. Использование индекса для объединений избавляет DataFrame от лишних столбцов ключей и может ускорить работу, поскольку Pandas поддерживает отсортированные структуры индексов для поиска за O(log n). Такие объединения особенно распространены во временных рядах, где DatetimeIndex является естественным ключом объединения.

Если в обоих DataFrames есть столбцы с одинаковыми именами (кроме ключевого), join() по умолчанию вызывает ValueError, если не указать параметры lsuffix и rsuffix. Эти параметры работают подобно suffixes в pd.merge(), добавляя строку к совпадающим именам столбцов из левого и правого DataFrames соответственно.

Распространённый рабочий процесс — назначить столбец индексом перед объединением, чтобы использовать синтаксис join(). После объединения reset_index() возвращает ключ в обычный столбец. Этот шаблон естественно читается: преобразовать ключ в индекс, выполнить объединение, вернуть ключ из индекса, — благодаря чему замысел кода понятен будущим читателям.

У Series также есть индекс, и его можно добавить в DataFrame как новый столбец с помощью присваивания — Pandas автоматически сопоставит значения Series с соответствующими метками индекса. Это облегчённый вариант объединения по индексу, который подходит, когда нужно добавить один столбец из Series без вызова merge() или join().

Объединение по отсортированному индексу выполняется быстрее, чем объединение по обычному столбцу, поскольку Pandas использует двоичный поиск по отсортированному индексу. Если Вы неоднократно объединяете данные по одному и тому же ключу, установите этот ключ в качестве индекса один раз в начале конвейера обработки. Это особенно важно при работе с временными рядами, когда объединение по DatetimeIndex выполняется тысячи раз для множества файлов.

В этом уроке Вы узнали, что DataFrame.join() по умолчанию объединяет данные по индексу с использованием левого объединения; pd.merge() с параметрами left_index=True/right_index=True предоставляет больше возможностей для управления; несколько DataFrames можно объединить одновременно, передав список в join(); а использование отсортированного индекса повышает производительность объединения. Далее мы рассмотрим изменение формы DataFrames с помощью pivot_table.