Ingénierie et sélection des caractéristiques

L’ingénierie et la sélection des caractéristiques sont des étapes essentielles pour créer des modèles d’apprentissage automatique efficaces. Ces processus consistent à créer de nouvelles caractéristiques et à sélectionner les plus pertinentes afin d’améliorer les performances du modèle.

Dans cette leçon, vous apprendrez des techniques d’ingénierie et de sélection des caractéristiques pour améliorer la précision des prédictions.

Qu’est-ce que l’ingénierie des caractéristiques ?

L’ingénierie des caractéristiques consiste à créer de nouvelles caractéristiques à partir de données brutes afin de rendre les modèles d’apprentissage automatique plus efficaces. Voici quelques exemples :

• Extraire des caractéristiques temporelles, comme le jour, le mois ou l’heure, à partir d’horodatages.
• Combiner plusieurs caractéristiques en une nouvelle caractéristique.
• Mettre les caractéristiques numériques à l’échelle afin d’uniformiser leur étendue.

Créer de nouvelles caractéristiques

Créons de nouvelles caractéristiques à partir de données existantes :

# Example: Creating new features
import pandas as pd

data = {'Timestamp': ['2025-01-01 12:00:00', '2025-01-02 15:30:00']}
df = pd.DataFrame(data)
df['Hour'] = pd.to_datetime(df['Timestamp']).dt.hour
df['Day'] = pd.to_datetime(df['Timestamp']).dt.day
print(df)

Mise à l’échelle des caractéristiques

La mise à l’échelle garantit que toutes les caractéristiques numériques utilisent la même échelle, ce qui améliore les performances du modèle :

# Example: Scaling features
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
values = [[10], [20], [30]]
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Sélection des caractéristiques

La sélection des caractéristiques consiste à choisir les caractéristiques les plus pertinentes pour le modèle. Les techniques courantes comprennent :

• Méthodes de filtrage : sélection des caractéristiques en fonction de mesures statistiques comme la corrélation.
• Méthodes par enveloppement : utilisation d’algorithmes comme l’élimination récursive des caractéristiques (RFE).
• Méthodes intégrées : sélection des caractéristiques pendant l’entraînement du modèle, par exemple avec la régression Lasso.

Sélection des caractéristiques fondée sur la corrélation

Les caractéristiques fortement corrélées peuvent être redondantes. Utilisez Pandas pour calculer les corrélations :

# Example: Correlation-based feature selection
import pandas as pd

data = {'Feature1': [1, 2, 3], 'Feature2': [2, 4, 6], 'Feature3': [1, 1, 1]}
df = pd.DataFrame(data)
print(df.corr())

Élimination récursive des caractéristiques (RFE)

RFE est une méthode par enveloppement qui supprime progressivement les caractéristiques les moins importantes :

# Example: RFE
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = LogisticRegression()
rfe = RFE(model, n_features_to_select=2)
rfe.fit(X, y)
print("Selected Features:", rfe.support_)

Importance des caractéristiques avec des modèles fondés sur des arbres

Les modèles fondés sur des arbres, comme les forêts aléatoires, fournissent des scores d’importance des caractéristiques :

# Example: Feature importance
from sklearn.ensemble import RandomForestClassifier

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = RandomForestClassifier()
model.fit(X, y)
print("Feature Importances:", model.feature_importances_)

Erreurs courantes en ingénierie des caractéristiques

Voici quelques erreurs à éviter :

• Créer trop de caractéristiques, ce qui peut entraîner un surapprentissage.
• Ignorer la nécessité de mettre les données à l’échelle dans les algorithmes fondés sur les distances.
• Utiliser des caractéristiques fortement corrélées, ce qui entraîne une redondance.

Qu’avez-vous appris ?

Dans cette leçon, vous avez appris :

• L’importance de l’ingénierie et de la sélection des caractéristiques en apprentissage automatique.
• Des techniques pour créer de nouvelles caractéristiques et mettre les caractéristiques numériques à l’échelle.
• Comment sélectionner les caractéristiques pertinentes à l’aide de méthodes comme RFE et les modèles fondés sur des arbres.
• Les erreurs courantes à éviter lors de l’ingénierie des caractéristiques.

Bravo ! Passons au sujet suivant.