Объединение и очистка текстовых столбцов

Распространённая задача подготовки данных — создать одну строку, объединив значения из нескольких столбцов, например составить полное имя из имени и фамилии или адрес из улицы, города и страны. В Pandas текстовые столбцы объединяют оператором +, применённым к двум Series (или к Series и строковому литералу), предварительно преобразовав числовые столбцы в строки с помощью .astype(str).

При объединении числового и строкового столбцов сначала необходимо преобразовать числовой столбец в строковый с помощью .astype(str). Оператор + в Python вызывает TypeError, если попытаться сложить строковый Series и целочисленный Series. Это распространённый источник путаницы при создании составных ключей или меток из столбцов разных типов.

Series.str.cat(others, sep=) — встроенный в Pandas способ объединить несколько Series с разделителем, корректно обрабатывающий значения NaN. По умолчанию NaN в любом столбце приводит к тому, что результат для этой строки также становится NaN. Передайте na_rep='?' (или любую другую строку), чтобы заменить NaN заполнителем, а не распространять это значение дальше.

В реальных данных столбцы категорий часто содержат несогласованные метки, появившиеся из-за опечаток, различий в регистре или разных сокращений (например, 'US', 'USA', 'United States'). Стандартное решение — создать словарь соответствий, который сопоставляет каждый вариант канонической форме, а затем применить его с помощью .map() или .replace().

Перед сравнением или группировкой текстовых столбцов всегда сначала удаляйте пробельные символы и нормализуйте регистр. Pandas считает два значения, которые кажутся человеку одинаковыми (' Active' и 'active'), разными из-за пробела в начале и различия в регистре. Цепочка из двух шагов — сначала strip, затем lower — устраняет обе проблемы.

Если опечатки мешают точному сопоставлению, нечёткое сопоставление вычисляет показатели сходства между строками. Библиотека rapidfuzz (или классическая fuzzywuzzy) предоставляет векторизованное нечёткое сопоставление. Типичный рабочий процесс: для каждого уникального значения с ошибками найти ближайшее каноническое значение, превышающее порог сходства, и создать таблицу исправлений.

Иногда ячейка содержит несколько значений, разделённых разделителем (например, 'python,sql,pandas'). Разделите столбец, чтобы получить списки, а затем вызовите .explode(), чтобы создать отдельную строку для каждого значения. Так упакованная широкая ячейка преобразуется в аккуратный длинный формат, где каждая строка содержит ровно одно значение. Это необходимо для операций группировки и объединения по этим значениям.

Текстовые данные из разных источников могут содержать проблемы с кодировкой — необычные символы вроде \xa0 (неразрывный пробел), \u2019 (типографский апостроф) или искажённые символы с диакритическими знаками. Для быстрой очистки, оставляющей только ASCII, используйте .str.encode('ascii', errors='replace').str.decode('ascii'), а для разложения диакритических знаков перед их удалением — .str.normalize('NFKD').

Во многих наборах данных необходимо создать составной ключ из нескольких столбцов, чтобы однозначно идентифицировать строку при объединении или удалении дубликатов. Объединение очищенных строковых столбцов (с удалёнными пробелами, приведённых к нижнему регистру и нормализованных) в одну строку-ключ обеспечивает согласованное сопоставление данных из разных источников, где одна и та же сущность может быть записана в каждом источнике немного по-разному.

После очистки убедитесь, что все значения в категориальном текстовом столбце входят в известный канонический набор. Любое значение, отсутствующее в наборе, может указывать как на новую допустимую категорию, так и на ошибку в данных. Записывайте в журнал или помечайте неизвестные значения для ручной проверки, а не удаляйте их молча, чтобы ни одна проблема не осталась незамеченной.

Ниже приведён полный конвейер очистки текста, применяющий все методы из этого урока: удаление пробелов, нормализация регистра, исправление сокращений, удаление специальных символов и проверка по каноническому списку. Именно такую повторно используемую функцию можно добавить в любой модуль загрузки данных.

В этом уроке Вы узнали, как объединять столбцы с помощью оператора + после преобразования чисел в строки, использовать str.cat(sep=) для объединения с разделителем и обработки NaN, применять каноническое отображение с помощью .map() для нормализации несогласованных меток и использовать explode() для преобразования ячеек со списками в строки. Используйте канонические наборы, чтобы на раннем этапе выявлять проблемы с качеством данных. Далее Вы узнаете о сортировке DataFrames по значениям столбцов.