Feature engineering och urval

Feature engineering och feature selection är avgörande steg när man bygger effektiva maskininlärningsmodeller. Dessa processer innebär att skapa nya features och välja ut de mest relevanta för att förbättra modellens prestanda.

I den här lektionen lär du dig tekniker för feature engineering och feature selection som förbättrar prediktionernas träffsäkerhet.

Feature engineering innebär att skapa nya features från rådata för att göra maskininlärningsmodeller mer effektiva. Exempel är:

• Att extrahera tidsbaserade features som dag, månad eller timme från tidsstämplar.
• Att kombinera flera features till en ny feature.
• Att skala numeriska features för att standardisera deras intervall.

Låt oss skapa nya features utifrån befintliga data:

# Example: Creating new features
import pandas as pd

data = {'Timestamp': ['2025-01-01 12:00:00', '2025-01-02 15:30:00']}
df = pd.DataFrame(data)
df['Hour'] = pd.to_datetime(df['Timestamp']).dt.hour
df['Day'] = pd.to_datetime(df['Timestamp']).dt.day
print(df)

Skalning säkerställer att alla numeriska features ligger på samma skala, vilket förbättrar modellens prestanda:

# Example: Scaling features
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
values = [[10], [20], [30]]
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Feature selection innebär att välja ut de mest relevanta features för modellen. Vanliga tekniker är:

• Filtermetoder: Att välja features utifrån statistiska mått som korrelation.
• Wrapper-metoder: Att använda algoritmer som Recursive Feature Elimination (RFE).
• Inbäddade metoder: Att välja features under modellträningen, till exempel Lasso-regression.

Features med hög korrelation kan vara redundanta. Använd Pandas för att beräkna korrelationer:

# Example: Correlation-based feature selection
import pandas as pd

data = {'Feature1': [1, 2, 3], 'Feature2': [2, 4, 6], 'Feature3': [1, 1, 1]}
df = pd.DataFrame(data)
print(df.corr())

RFE är en wrapper-metod som iterativt tar bort de minst viktiga features:

# Example: RFE
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = LogisticRegression()
rfe = RFE(model, n_features_to_select=2)
rfe.fit(X, y)
print("Selected Features:", rfe.support_)

Trädbaserade modeller som Random Forests tillhandahåller värden för feature importance:

# Example: Feature importance
from sklearn.ensemble import RandomForestClassifier

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = RandomForestClassifier()
model.fit(X, y)
print("Feature Importances:", model.feature_importances_)

Här är några misstag att undvika:

• Att skapa för många features, vilket kan leda till överanpassning.
• Att ignorera behovet av skalning i avståndsbaserade algoritmer.
• Att använda starkt korrelerade features, vilket orsakar redundans.

I den här lektionen lärde du dig:

• Vikten av feature engineering och feature selection inom maskininlärning.
• Tekniker för att skapa nya features och skala numeriska features.
• Hur man väljer relevanta features med metoder som RFE och trädbaserade modeller.
• Vanliga misstag att undvika vid feature engineering.

Bra jobbat! Låt oss gå vidare till nästa ämne.