Конструирование и отбор признаков

Конструирование и отбор признаков — важнейшие этапы построения эффективных моделей машинного обучения. Эти процессы включают создание новых признаков и выбор наиболее релевантных из них для повышения эффективности модели.

В этом уроке Вы изучите методы конструирования и отбора признаков для повышения точности прогнозирования.

Что такое конструирование признаков?

Конструирование признаков включает создание новых признаков на основе исходных данных, чтобы сделать модели машинного обучения эффективнее. Примеры:

• Извлечение признаков, связанных со временем, например дня, месяца или часа, из временных меток.
• Объединение нескольких признаков в новый признак.
• Масштабирование числовых признаков для приведения их диапазонов к единому виду.

Создание новых признаков

Давайте создадим новые признаки на основе имеющихся данных:

# Example: Creating new features
import pandas as pd

data = {'Timestamp': ['2025-01-01 12:00:00', '2025-01-02 15:30:00']}
df = pd.DataFrame(data)
df['Hour'] = pd.to_datetime(df['Timestamp']).dt.hour
df['Day'] = pd.to_datetime(df['Timestamp']).dt.day
print(df)

Масштабирование признаков

Масштабирование приводит все числовые признаки к одной шкале, что повышает эффективность модели:

# Example: Scaling features
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
values = [[10], [20], [30]]
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Отбор признаков

Отбор признаков включает выбор наиболее релевантных для модели признаков. К распространённым методам относятся:

• Методы фильтрации: выбор признаков на основе статистических показателей, например корреляции.
• Методы-обёртки: использование алгоритмов, например рекурсивного устранения признаков (RFE).
• Встроенные методы: выбор признаков во время обучения модели, например регрессия Lasso.

Отбор признаков на основе корреляции

Сильно коррелирующие признаки могут быть избыточными. Используйте Pandas для вычисления корреляций:

# Example: Correlation-based feature selection
import pandas as pd

data = {'Feature1': [1, 2, 3], 'Feature2': [2, 4, 6], 'Feature3': [1, 1, 1]}
df = pd.DataFrame(data)
print(df.corr())

Рекурсивное устранение признаков (RFE)

RFE — это метод-обёртка, который итеративно удаляет наименее важные признаки:

# Example: RFE
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = LogisticRegression()
rfe = RFE(model, n_features_to_select=2)
rfe.fit(X, y)
print("Selected Features:", rfe.support_)

Важность признаков в моделях на основе деревьев

Модели на основе деревьев, например случайные леса, предоставляют оценки важности признаков:

# Example: Feature importance
from sklearn.ensemble import RandomForestClassifier

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = RandomForestClassifier()
model.fit(X, y)
print("Feature Importances:", model.feature_importances_)

Распространённые ошибки при конструировании признаков

Вот несколько ошибок, которых следует избегать:

• Создание слишком большого количества признаков, что может привести к переобучению.
• Игнорирование необходимости масштабирования в алгоритмах, основанных на расстояниях.
• Использование сильно коррелирующих признаков, приводящее к избыточности.

Что мы узнали?

В этом уроке Вы узнали:

• О важности конструирования и отбора признаков в машинном обучении.
• О методах создания новых признаков и масштабирования числовых признаков.
• Как выбирать релевантные признаки с помощью таких методов, как RFE, и моделей на основе деревьев.
• О распространённых ошибках, которых следует избегать при конструировании признаков.

Отличная работа! Перейдём к следующей теме.