Создание взаимодействий и полиномиальных признаков

Линейные модели способны выявлять только прямолинейные зависимости. Создавая признаки взаимодействия и полиномиальные признаки, Вы позволяете простым моделям описывать кривые и совместное влияние переменных.

Взаимодействие перемножает два признака, например area = length * width. Оно отражает эффекты, зависящие сразу от обоих входных признаков, которые по отдельности не объясняются.

PolynomialFeatures автоматически создаёт степени и произведения признаков до выбранной степени degree. Степень 2 добавляет квадраты и попарные произведения.

Параметр interaction_only=True сохраняет произведения разных признаков, но удаляет чистые степени, например x1^2. Это полезно, когда Вам нужны только совместные эффекты, а не кривизна зависимостей.

Высокие степени создают множество признаков и повышают риск переобучения. Для 10 входных признаков степень 3 порождает сотни столбцов. Ограничивайте степень значением 2 или 3 и сочетайте преобразование с отбором признаков или регуляризацией.

Знания предметной области часто эффективнее полного перебора. Созданные вручную отношения, например цена за квадратный метр или число кликов на один показ, передают смысл, который полиномиальное разбиение не обнаружило бы.

Разбиение на интервалы превращает непрерывную переменную в категории. pd.cut разделяет столбец на интервалы, что полезно для выявления нелинейных эффектов или группировки возрастов, доходов и других значений.

pd.qcut создаёт интервалы примерно с одинаковым числом элементов (квантили). Это удобно, когда распределение асимметрично и Вам нужны сбалансированные группы.

Признаки с правосторонней асимметрией (доходы, цены, количества) ухудшают работу многих моделей. Логарифмическое преобразование сжимает большие значения и делает распределение более симметричным.

Преобразование с помощью квадратного корня также уменьшает асимметрию, но мягче, чем логарифм, поэтому хорошо подходит для данных о количествах. Выбирайте преобразование, которое лучше всего делает гистограмму симметричной.

Сочетайте разные подходы: применяйте логарифмическое преобразование к асимметричным столбцам, разбивайте на интервалы там, где важны пороги, добавляйте отношения из предметной области и используйте PolynomialFeatures для взаимодействий. Всегда проверяйте, действительно ли новые признаки улучшают оценки при перекрёстной проверке.

Проверьте свои знания о конструировании признаков.

Итоги: Конструируйте признаки, чтобы помогать простым моделям. PolynomialFeatures с параметрами degree и interaction_only добавляет произведения и степени — следите за резким ростом их числа. Создавайте отношения вручную, опираясь на знания предметной области, разбивайте данные на интервалы с помощью pd.cut/pd.qcut и устраняйте асимметрию с помощью логарифмического преобразования или преобразования квадратным корнем. Всегда проверяйте улучшения.