Feature engineering e selezione delle feature

Il feature engineering e la selezione delle feature sono passaggi fondamentali per costruire modelli di machine learning efficaci. Questi processi consistono nel creare nuove feature e selezionare quelle più rilevanti per migliorare le prestazioni del modello.

In questa lezione imparerà le tecniche di feature engineering e selezione delle feature per migliorare l'accuratezza delle previsioni.

Che cos'è il feature engineering?

Il feature engineering consiste nel creare nuove feature a partire dai dati grezzi per rendere più efficaci i modelli di machine learning. Ecco alcuni esempi:

• Estrarre dai timestamp feature basate sul tempo, come il giorno, il mese o l'ora.
• Combinare più feature in una nuova feature.
• Scalare le feature numeriche per standardizzarne l'intervallo di valori.

Creazione di nuove feature

Creiamo nuove feature a partire dai dati esistenti:

# Example: Creating new features
import pandas as pd

data = {'Timestamp': ['2025-01-01 12:00:00', '2025-01-02 15:30:00']}
df = pd.DataFrame(data)
df['Hour'] = pd.to_datetime(df['Timestamp']).dt.hour
df['Day'] = pd.to_datetime(df['Timestamp']).dt.day
print(df)

Scalatura delle feature

La scalatura garantisce che tutte le feature numeriche siano sulla stessa scala, migliorando così le prestazioni del modello:

# Example: Scaling features
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
values = [[10], [20], [30]]
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Selezione delle feature

La selezione delle feature consiste nello scegliere quelle più rilevanti per il modello. Tra le tecniche più comuni vi sono:

• Metodi filtro: selezione delle feature in base a misure statistiche come la correlazione.
• Metodi wrapper: utilizzo di algoritmi come la Recursive Feature Elimination (RFE).
• Metodi embedded: selezione delle feature durante l'addestramento del modello, ad esempio con la regressione Lasso.

Selezione delle feature basata sulla correlazione

Le feature altamente correlate possono essere ridondanti. Utilizzi Pandas per calcolare le correlazioni:

# Example: Correlation-based feature selection
import pandas as pd

data = {'Feature1': [1, 2, 3], 'Feature2': [2, 4, 6], 'Feature3': [1, 1, 1]}
df = pd.DataFrame(data)
print(df.corr())

Eliminazione ricorsiva delle feature (RFE)

RFE è un metodo wrapper che rimuove iterativamente le feature meno importanti:

# Example: RFE
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = LogisticRegression()
rfe = RFE(model, n_features_to_select=2)
rfe.fit(X, y)
print("Selected Features:", rfe.support_)

Importanza delle feature con modelli basati su alberi

I modelli basati su alberi, come Random Forests, forniscono punteggi di importanza delle feature:

# Example: Feature importance
from sklearn.ensemble import RandomForestClassifier

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = RandomForestClassifier()
model.fit(X, y)
print("Feature Importances:", model.feature_importances_)

Errori comuni nel feature engineering

Ecco alcuni errori da evitare:

• Creare troppe feature, causando un possibile overfitting.
• Ignorare la necessità di scalare le feature negli algoritmi basati sulla distanza.
• Utilizzare feature altamente correlate, causando ridondanza.

Che cosa abbiamo imparato?

In questa lezione ha imparato:

• L'importanza del feature engineering e della selezione delle feature nel machine learning.
• Le tecniche per creare nuove feature e scalare le feature numeriche.
• Come selezionare le feature rilevanti utilizzando metodi come RFE e modelli basati su alberi.
• Gli errori comuni da evitare durante il feature engineering.

Ottimo lavoro! Passiamo al prossimo argomento.