Подготовка данных для искусственного интеллекта

Представьте, что вы готовите вкусное блюдо. Вы ведь не станете использовать испорченные ингредиенты?

Для ИИ действует тот же принцип! Подготовка данных — это процесс очистки и преобразования необработанных данных в чистый, пригодный для использования формат для моделей ИИ.

Это важнейший этап, поскольку качество данных напрямую влияет на производительность и точность ИИ.

Необработанные данные редко бывают идеальными. В них часто встречаются проблемы, способные ввести модели ИИ в заблуждение.

• Пропущенные значения: отсутствующие данные там, где они должны быть.
• Несоответствия: разные форматы для одной и той же информации.
• Дубликаты: повторяющиеся записи.
• Выбросы: экстремальные значения, способные исказить результаты.

Выявление этих проблем — первый шаг.

Пропущенные значения могут приводить к ошибкам или смещённым результатам. Вот распространённые стратегии:

• Удаление: удалите строки или столбцы, в которых слишком много пропущенных данных (используйте с осторожностью!).
• Восстановление: заполните пропущенные значения. Можно использовать среднее, медиану или моду столбца.
• Предсказание: используйте другие признаки, чтобы предсказать и заполнить пропущенные значения (более продвинутый способ).

Лучший метод зависит от ваших данных и задачи ИИ.

Дублирующиеся записи означают, что одна и та же информация сохранена несколько раз. Это может искусственно увеличить набор данных и сместить результаты работы модели.

Например, один клиент может дважды оказаться в списке «новых регистраций».

Решение простое: найдите и удалите эти избыточные строки. В большинстве инструментов для работы с данными есть встроенные функции для этого.

Несоответствия возникают, когда одни и те же данные представлены по-разному. Например, «USA», «U.S.A.» и «United States» обозначают одну и ту же страну.

То же относится к форматам дат (например, «10/01/2023» и «Jan 10, 2023») или единицам измерения (например, «kg» и «lbs»).

Стандартизация позволяет модели ИИ правильно их интерпретировать.

Некоторые алгоритмы ИИ, например метод k ближайших соседей, чувствительны к масштабу числовых признаков. Признак со значениями от 1 до 1000 может преобладать над признаком со значениями от 0 до 1.

• Нормализация: приводит значения к фиксированному диапазону, обычно от 0 до 1.
• Стандартизация: преобразует данные так, чтобы их среднее значение было равно 0, а стандартное отклонение — 1.

Это помогает предотвратить непропорционально сильное влияние признаков с большими значениями на модель.

Модели ИИ лучше всего работают с числами. Категориальные данные (например, «Красный», «Зелёный», «Синий» или «Маленький», «Средний», «Большой») необходимо преобразовать.

• Унитарное кодирование: создаёт для каждой категории новые двоичные столбцы со значениями 0 или 1. Например, «Color_Red», «Color_Green».
• Кодирование метками: присваивает каждой категории уникальное целое число. Например, Red=0, Green=1, Blue=2. Используйте этот способ осторожно, поскольку он подразумевает наличие порядка.

Иногда исходных признаков недостаточно. Инженерия признаков — это создание новых признаков на основе существующих для повышения качества работы модели.

Примеры:

• Объединение признаков «рост» и «вес» для создания признака «BMI».
• Извлечение «месяца» или «дня недели» из столбца «дата».
• Создание «возрастной группы» на основе столбца «возраст».

Это помогает модели легче находить закономерности.

Перед обучением модели ИИ необходимо разделить подготовленные данные на несколько наборов:

• Обучающий набор: используется для обучения модели.
• Проверочный набор: используется для настройки гиперпараметров модели и предотвращения переобучения в процессе разработки.
• Тестовый набор: полностью новые для модели данные, используемые для окончательной оценки её качества.

Это позволяет убедиться, что модель хорошо работает с новыми данными из реального мира.

Вы изучили различные этапы подготовки данных. Теперь давайте проверим, насколько хорошо Вы усвоили материал.

Отличная работа! В этом уроке мы изучили важнейший процесс подготовки данных.

Вы узнали:

• как очищать данные (обрабатывать пропущенные значения, дубликаты и несоответствия);
• как преобразовывать данные (масштабировать признаки и кодировать категориальные данные);
• об основах инженерии признаков;
• о важности разделения данных для оценки модели.

Качественные данные — основа эффективного ИИ. Продолжайте развивать эти навыки!