Préparer les données pour l’IA

Imaginez que vous prépariez un délicieux repas. Vous n’utiliseriez pas d’ingrédients pourris, n’est-ce pas ?

Il en va de même pour l’IA ! La préparation des données consiste à nettoyer et à transformer des données brutes en un format propre et utilisable par les modèles d’IA.

Il s’agit d’une étape essentielle, car la qualité de vos données a une incidence directe sur les performances et la précision de votre IA.

Les données brutes sont rarement parfaites. Elles présentent souvent des problèmes susceptibles d’induire les modèles d’IA en erreur.

• Valeurs manquantes : des données absentes là où elles devraient être présentes.
• Incohérences : des formats différents pour une même information.
• Doublons : des entrées répétées.
• Valeurs aberrantes : des valeurs extrêmes pouvant fausser les résultats.

Repérer ces problèmes constitue la première étape.

Les valeurs manquantes peuvent provoquer des erreurs ou produire des résultats biaisés. Voici des stratégies courantes :

• Suppression : supprimer les lignes ou colonnes contenant trop de données manquantes (à utiliser avec prudence !).
• Imputation : compléter les valeurs manquantes. Vous pouvez utiliser la moyenne, la médiane ou le mode de la colonne.
• Prédiction : utiliser d’autres caractéristiques pour prédire et compléter les valeurs manquantes (méthode plus avancée).

La meilleure méthode dépend de vos données et de la tâche d’IA.

Les entrées en double signifient qu’une même information est enregistrée plusieurs fois. Cela peut gonfler votre ensemble de données et biaiser votre modèle.

Par exemple, un client apparaissant deux fois dans une liste de « nouvelles inscriptions ».

La solution est simple : repérez et supprimez ces lignes redondantes. La plupart des outils de traitement des données disposent de fonctions intégrées pour cela.

Les incohérences apparaissent lorsque les mêmes données sont représentées différemment. Pensez à « USA », « U.S.A. » et « États-Unis », qui désignent tous le même pays.

Cela s’applique également aux formats de date (par exemple, « 10/01/2023 » et « 10 janv. 2023 ») ou aux unités (par exemple, « kg » et « lb »).

La standardisation garantit que votre modèle d’IA les interprète correctement.

Certains algorithmes d’IA, comme les plus proches voisins (K-NN), sont sensibles à l’échelle des caractéristiques numériques. Une caractéristique dont les valeurs vont de 1 à 1000 peut dominer une autre dont les valeurs vont de 0 à 1.

• Normalisation : ramène les valeurs dans une plage fixe, généralement de 0 à 1.
• Standardisation : transforme les données afin qu’elles aient une moyenne de 0 et un écart type de 1.

Cela empêche les caractéristiques ayant de grandes valeurs d’influencer le modèle de manière disproportionnée.

Les modèles d’IA fonctionnent mieux avec des nombres. Les données catégorielles (comme « Rouge », « Vert », « Bleu » ou « Petit », « Moyen », « Grand ») doivent être converties.

• Encodage à chaud : crée de nouvelles colonnes binaires (0 ou 1) pour chaque catégorie. Par exemple : « Color_Red », « Color_Green ».
• Encodage par étiquettes : attribue un entier unique à chaque catégorie. Par exemple : Rouge=0, Vert=1, Bleu=2. Utilisez cette méthode avec prudence, car elle implique un ordre.

Parfois, les fonctionnalités brutes ne suffisent pas. L’ingénierie des fonctionnalités consiste à créer de nouvelles fonctionnalités à partir de fonctionnalités existantes afin d’améliorer les performances du modèle.

Exemples :

• Combiner « height » et « weight » pour créer « BMI ».
• Extraire le « month » ou le « day of week » d’une colonne « date ».
• Créer un « age group » à partir d’une colonne « age ».

Cela aide le modèle à détecter plus facilement les tendances.

Avant d’entraîner votre modèle d’IA, vous devez répartir vos données préparées en différents ensembles :

• Ensemble d’entraînement : utilisé pour enseigner le modèle.
• Ensemble de validation : utilisé pour ajuster les hyperparamètres du modèle et éviter le surapprentissage pendant le développement.
• Ensemble de test : ensemble de données que le modèle n’a jamais vu, utilisé pour l’évaluation finale de ses performances.

Cela garantit que votre modèle se généralise correctement à de nouvelles données du monde réel.

Vous avez découvert différentes étapes de préparation des données. Vérifions maintenant votre compréhension.

Excellent travail ! Dans cette leçon, nous avons étudié le processus essentiel de préparation des données.

Vous avez découvert :

• Le nettoyage des données (valeurs manquantes, doublons, incohérences).
• La transformation des données (mise à l’échelle des fonctionnalités, encodage des données catégorielles).
• Les bases de l’ingénierie des fonctionnalités.
• L’importance de la division des données pour évaluer le modèle.

Des données de qualité sont au cœur d’une IA efficace. Continuez à mettre ces compétences en pratique !