apply() для столбцов и строк

DataFrame.apply() применяет пользовательскую функцию к каждому столбцу (axis=0) или каждой строке (axis=1). Это крайнее средство — оно медленнее встроенных векторизованных операций, — но оно необходимо, когда вычисление невозможно выразить с помощью арифметики NumPy, логической индексации или встроенных функций агрегирования. Используйте его для сложной условной логики, специального разбора строк или многоэтапных вычислений, выполняемых за один раз для отдельной строки или столбца.

При использовании axis=0 (значение по умолчанию) функция apply() передаёт каждый столбец в виде Series. Функция получает по одному столбцу за раз и должна вернуть скалярное значение (для агрегирования) или Series (для преобразования). Это удобно для единообразного применения пользовательского шага нормализации или очистки ко всем числовым столбцам одним вызовом.

При использовании axis=1 функция apply() передаёт каждую строку в виде Series. Индекс строки содержит имена столбцов, поэтому значения можно получать по имени. Это идеально подходит для вычислений на уровне строки, зависящих от нескольких столбцов, например для расчёта общей выручки после налогообложения, когда для каждой строки задана собственная налоговая ставка.

Функция, переданная в apply(axis=1), может вернуть pd.Series с именованными элементами, которые Pandas преобразует в несколько новых столбцов. Это более удобно, чем дважды вызывать apply() для создания двух новых столбцов. Также функция может вернуть dict, который Pandas аналогичным образом преобразует в столбцы.

Используйте apply(func, axis=0), чтобы вычислить пользовательскую статистику для каждого столбца и вернуть сводную Series. Например, можно одним вызовом вычислить коэффициент вариации (стандартное отклонение, делённое на среднее) для каждого числового столбца. Результат представляет собой Series с индексом из имён столбцов и удобен для быстрой диагностики отдельных столбцов.

Перед использованием apply() всегда проверяйте, существует ли векторизованная альтернатива. Для расчёта выручки после налогообложения выражение df['price'] * df['quantity'] * (1 + df['tax_rate']) выполняет ту же задачу, что и вариант с apply(axis=1), но работает в 10–100 раз быстрее, поскольку использует циклы NumPy на уровне C. Используйте apply() только в случаях, когда векторизованная логика была бы слишком сложной для чтения.

Для коротких преобразований в одну строку передавайте в apply() лямбда-функцию lambda напрямую, вместо определения именованной функции. Лямбда-функции удобны для простых операций, но их следует избегать в сложной логике, где именованную функцию с комментариями проще понимать и тестировать. Используйте лямбда-функции умеренно: их нельзя легко тестировать отдельно или профилировать по имени.

Передавайте дополнительные аргументы функции с помощью кортежа args или именованных аргументов в apply(func, args=(val,), axis=1). Это позволяет не использовать глобальные переменные внутри функции и делает её повторно используемой с разными значениями параметров. В Python 3.8 и более поздних версиях также можно использовать functools.partial, чтобы создать частично применённую версию функции.

Если столбец содержит значения разных типов — целые числа, числа с плавающей точкой и строки, — astype() вызывает ошибку. Используйте apply(pd.to_numeric, errors='coerce'), чтобы попытаться преобразовать значения построчно и вернуть NaN для тех, которые преобразовать невозможно. Это безопасный подход для столбцов, которые должны быть числовыми, но иногда содержат нечисловые записи из-за ошибок ввода данных.

Когда функцию для скалярных значений необходимо применить поэлементно, np.vectorize(func)(array) обычно работает быстрее, чем Series.apply(func), поскольку vectorize из NumPy выполняет диспетчеризацию через C, избегая накладных расходов на вызовы функций Python. Однако np.vectorize всё равно медленнее настоящей широковещательной обработки — этот инструмент полезен только тогда, когда ни одно выражение с широковещательной обработкой не позволяет выразить логику.

Используйте apply, когда: (1) логика требует одновременного ветвления по значениям нескольких столбцов; (2) функция вызывает внешний API или базу данных для каждой строки (и последовательной обработки избежать нельзя); (3) функция разбирает сложную строку, например хранящийся в ячейке блок JSON; или (4) функция возвращает объект переменной длины, например список. Во всех остальных случаях предпочитайте векторизованные операции ради скорости и удобства чтения.

В этом уроке Вы научились: использовать apply(axis=0) для вычисления пользовательской статистики на уровне столбцов, использовать apply(axis=1) для вычислений на уровне строк с несколькими входными столбцами, а также понимать, когда для повышения производительности следует предпочесть векторизованные альтернативы. Далее мы рассмотрим использование apply() с GroupBy для сложных агрегирований на уровне групп.