Funksjonsutvikling og -utvelging

Feature engineering og utvelging er avgjørende trinn når De bygger effektive maskinlæringsmodeller. Disse prosessene innebærer å opprette nye egenskaper og velge ut de mest relevante for å forbedre modellens ytelse.

I denne leksjonen lærer De teknikker for feature engineering og utvelging som kan forbedre prediksjonsnøyaktigheten.

Feature engineering innebærer å opprette nye egenskaper fra rådata for å gjøre maskinlæringsmodeller mer effektive. Eksempler er:

• Å hente ut tidsbaserte egenskaper som dag, måned eller time fra tidsstempler.
• Å kombinere flere egenskaper til en ny egenskap.
• Å skalere numeriske egenskaper for å standardisere området deres.

La oss opprette nye egenskaper basert på eksisterende data:

# Example: Creating new features
import pandas as pd

data = {'Timestamp': ['2025-01-01 12:00:00', '2025-01-02 15:30:00']}
df = pd.DataFrame(data)
df['Hour'] = pd.to_datetime(df['Timestamp']).dt.hour
df['Day'] = pd.to_datetime(df['Timestamp']).dt.day
print(df)

Skalering sørger for at alle numeriske egenskaper er på samme skala, noe som forbedrer modellens ytelse:

# Example: Scaling features
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
values = [[10], [20], [30]]
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Utvelging av egenskaper innebærer å velge de mest relevante egenskapene for modellen. Vanlige teknikker omfatter:

• Filtermetoder: Å velge ut egenskaper basert på statistiske mål som korrelasjon.
• Wrapper-metoder: Å bruke algoritmer som Recursive Feature Elimination (RFE).
• Innebygde metoder: Å velge ut egenskaper under modelltreningen, for eksempel Lasso-regresjon.

Svært korrelerte egenskaper kan være overflødige. Bruk Pandas til å beregne korrelasjoner:

# Example: Correlation-based feature selection
import pandas as pd

data = {'Feature1': [1, 2, 3], 'Feature2': [2, 4, 6], 'Feature3': [1, 1, 1]}
df = pd.DataFrame(data)
print(df.corr())

RFE er en wrapper-metode som trinnvis fjerner de minst viktige egenskapene:

# Example: RFE
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = LogisticRegression()
rfe = RFE(model, n_features_to_select=2)
rfe.fit(X, y)
print("Selected Features:", rfe.support_)

Trebaserte modeller som Random Forests gir poengsummer for egenskapenes viktighet:

# Example: Feature importance
from sklearn.ensemble import RandomForestClassifier

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = RandomForestClassifier()
model.fit(X, y)
print("Feature Importances:", model.feature_importances_)

Her er noen feil De bør unngå:

• Å opprette for mange egenskaper, noe som kan føre til overtilpasning.
• Å overse behovet for skalering i avstandsbaserte algoritmer.
• Å bruke svært korrelerte egenskaper, noe som fører til overflødig informasjon.

I denne leksjonen har De lært:

• Hvor viktig feature engineering og utvelging er i maskinlæring.
• Teknikker for å opprette nye egenskaper og skalere numeriske egenskaper.
• Hvordan De velger ut relevante egenskaper ved hjelp av metoder som RFE og trebaserte modeller.
• Vanlige feil De bør unngå under feature engineering.

Godt jobbet! La oss gå videre til neste tema.