melt: из широкого формата в длинный

Данные могут иметь две основные формы. В широком формате для каждого объекта предназначена одна строка, а измерения распределены по нескольким столбцам — например, отдельные столбцы для продаж в январе, феврале и марте. В длинном формате для каждого наблюдения предназначена одна строка, один столбец содержит имя переменной, а другой — её значение. Большинство функций анализа Pandas, библиотек машинного обучения и инструментов визуализации предпочитают длинный формат, поэтому melt() — важнейший инструмент преобразования.

pd.melt(df) (также доступная как df.melt()) преобразует широкий DataFrame в длинный формат. Основные параметры: id_vars (столбцы, которые нужно сохранить как неизменяемые идентификаторы), value_vars (столбцы, которые нужно преобразовать в строки), var_name (имя нового столбца переменной) и value_name (имя нового столбца значения).

Вызовите melt(), задав в id_vars столбцы, которые нужно сохранить как идентификаторы. Каждый другой столбец преобразуется в строки: его имя становится значением нового столбца переменной, а значения его ячеек перемещаются в столбец значений. Число строк результата равно числу входных строк, умноженному на число преобразуемых столбцов значений.

По умолчанию преобразуются все столбцы, не перечисленные в id_vars. Используйте value_vars, чтобы преобразовать только подмножество столбцов. Столбцы, не указанные ни в id_vars, ни в value_vars, исключаются из результата. Это полезно, когда широкий DataFrame содержит как столбцы временного ряда, так и другие атрибуты, которые не нужно преобразовывать.

melt() сохраняет исходные индексы строк, повторяя их для каждой переменной. Поэтому результат часто имеет непоследовательный индекс, например [0, 1, 0, 1, 0, 1]. Рекомендуется сразу после melt() вызвать reset_index(drop=True), чтобы получить в результате чистый последовательный индекс от 0 до n-1.

Концептуально melt() является обратной операцией к pivot() / pivot_table(). С помощью pivot_table() можно перейти от длинного формата к широкому, а с помощью melt() — обратно от широкого к длинному. Такой переход туда и обратно часто используется в конвейерах обработки: получить данные в широком формате, преобразовать их в длинный формат для построения графиков в Seaborn или создания признаков для машинного обучения, а затем при необходимости снова преобразовать в широкую форму для отчётной таблицы.

Категориальные графики и графики отношений Seaborn лучше всего работают с данными в длинном формате. Типичный рабочий процесс: начать с широкого DataFrame, содержащего отдельный столбец для каждой группы, преобразовать его в длинный формат, чтобы один столбец определял группу, а другой содержал значения, а затем передать оба столбца в параметры hue и x/y Seaborn. Это одна из самых распространённых причин использовать melt().

По умолчанию melt() называет новый столбец переменной 'variable', а столбец значений — 'value'. Всегда заменяйте эти имена на содержательные с помощью var_name и value_name. Описательные имена столбцов упрощают чтение последующего кода и предотвращают путаницу, когда DataFrame содержит десятки столбцов.

Классический вариант использования melt() — ответы на опрос, где каждый столбец соответствует вопросу, а каждая строка — респонденту. Преобразование переводит широкую форму в длинную, создавая столбцы для идентификатора респондента, названия вопроса и значения ответа. После этого можно легко вычислить распределение ответов для каждого вопроса с помощью groupby().

После преобразования строки упорядочены по исходному порядку столбцов (для каждой строки: Jan, Feb, Mar). Часто требуется сначала отсортировать их по столбцу идентификатора, а затем по столбцу переменной. Используйте sort_values() для преобразованного DataFrame, чтобы получить порядок, наиболее подходящий для Вашего анализа или последующей обработки.

В типичном конвейере обработки данных melt() используется сразу после загрузки или очистки данных в широком формате, до этапа анализа или моделирования. Разместите его в начале конвейера, чтобы быстро перейти к длинному формату, после чего все последующие операции (groupby, Seaborn, библиотека машинного обучения) смогут работать с чистыми данными в длинном формате без специальных исключений.

В этом уроке Вы узнали, что melt() преобразует широкий формат в длинный, превращая столбцы в строки; id_vars указывает, какие столбцы остаются неизменными, а value_vars выбирает столбцы для преобразования; var_name и value_name задают описательные имена новым столбцам; а длинный формат предпочтителен для Seaborn, groupby и конвейеров машинного обучения. Далее мы рассмотрим stack и unstack для изменения формы DataFrames с MultiIndex.