Normalisation des données

La normalisation des données garantit que toutes les caractéristiques d’un ensemble de données sont sur des échelles similaires. Cela est essentiel pour des algorithmes tels que la descente de gradient et les modèles fondés sur la distance. Dans cette leçon, nous allons explorer les techniques de standardisation et de mise à l’échelle.

Pourquoi normaliser les données ?

La normalisation garantit que toutes les caractéristiques contribuent de manière égale au modèle. Sans normalisation, les caractéristiques ayant des échelles plus élevées peuvent dominer le processus d’apprentissage.

Exemple :

• L’âge (0-100) et le revenu (0-100 000) devraient être mis à l’échelle sur des plages comparables.

Standardisation

La standardisation transforme les données afin que leur moyenne soit de 0 et leur écart type de 1. Elle se calcule ainsi :

z = (x - mean) / std_dev

La standardisation convient parfaitement à des algorithmes comme la régression logistique et SVM.

Mise à l’échelle min-max

La mise à l’échelle min-max ramène les données à une plage fixe, généralement [0, 1]. Elle se calcule ainsi :

x_scaled = (x - min) / (max - min)

Cette technique est utilisée lorsque les données doivent être bornées.

Normalisation en Python (standardisation)

Utilisez StandardScaler de sklearn.preprocessing pour standardiser les données.

Exemple :

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

Normalisation en Python (mise à l’échelle min-max)

Utilisez MinMaxScaler de sklearn.preprocessing pour appliquer une mise à l’échelle min-max.

Exemple :

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() data_scaled = scaler.fit_transform(data)

Choisir une technique de normalisation

Tenez compte des éléments suivants lors du choix d’une technique :

• Standardisation : Utilisez-la lorsque les données contiennent des valeurs aberrantes.
• Mise à l’échelle min-max : Utilisez-la lorsque les caractéristiques doivent être bornées.

Récapitulatif

Dans cette leçon, vous avez appris :

• Standardisation : mettre les données à l’échelle pour obtenir une moyenne de 0 et un écart type de 1.
• Mise à l’échelle min-max : transformer les données pour les ramener dans une plage fixe.
• Utiliser StandardScaler et MinMaxScaler en Python.

Félicitations !

Vous avez terminé la leçon sur la normalisation des données. Passez à la leçon suivante pour découvrir la fusion de données en Python.