PCA comme prétraitement : accélération et réduction du bruit dans les chaînes de traitement

Au-delà de la visualisation, PCA constitue une étape de prétraitement pratique qui fournit des caractéristiques compressées à un classificateur ou un régresseur en aval. En écartant les composantes à faible variance, qui encodent souvent du bruit, PCA peut accélérer l’entraînement, réduire l’utilisation de la mémoire et parfois améliorer la capacité de généralisation, en particulier lorsque l’espace initial des caractéristiques possède une très grande dimension.

Le bruit de mesure aléatoire se répartit généralement dans de nombreuses directions de l’espace des caractéristiques, mais sa variance reste faible dans chaque direction. PCA concentre le signal pertinent dans les premières composantes et laisse le bruit dans la queue à faible variance. Lorsque vous écartez cette queue, vous débruitez de fait les données. C’est pourquoi le prétraitement par PCA aide parfois des algorithmes comme la régression logistique, sensibles aux caractéristiques corrélées ou bruitées.

La manière la plus propre d’utiliser PCA comme prétraitement consiste à l’intégrer dans un Pipeline. Le pipeline garantit que le dispositif de mise à l’échelle et PCA sont ajustés uniquement sur les données d’entraînement, puis appliqués de manière cohérente aux données d’évaluation. Cela élimine toute une catégorie d’erreurs de fuite de données qui se produisent lorsque l’on oublie d’appliquer la même transformation PCA à l’ensemble d’évaluation.

Sur les jeux de données à grande dimension, PCA peut réduire considérablement le temps d’entraînement, car le classificateur traite beaucoup moins de caractéristiques. Comparons le temps d’exécution de la régression logistique sur le jeu de données des chiffres (64 caractéristiques), avec et sans réduction préalable par PCA.

Le prétraitement par PCA est particulièrement utile lorsque le nombre de caractéristiques est élevé par rapport au nombre d’échantillons (régime de grande dimension avec peu d’échantillons), lorsque les caractéristiques sont corrélées (informations redondantes) ou lorsque l’algorithme est lent avec de nombreuses caractéristiques (par exemple, un SVM avec un noyau RBF). PCA n’est généralement PAS utile lorsque le jeu de données possède déjà peu de caractéristiques informatives ou lorsque vous utilisez des modèles fondés sur des arbres (forêts aléatoires, XGBoost), qui gèrent naturellement les caractéristiques redondantes et ne tirent pas parti de la compression linéaire de PCA.

Comme PCA constitue une étape d’un Pipeline, vous pouvez régler n_components en même temps que les hyperparamètres du classificateur à l’aide de GridSearchCV. Utilisez la notation avec double soulignement pca__n_components pour faire référence au paramètre de l’étape PCA. La boucle de validation croisée peut ainsi trouver simultanément le niveau de compression optimal et la force de régularisation du modèle.

Les SVM avec des noyaux RBF calculent les distances deux à deux dans l’espace initial des caractéristiques, ce qui est coûteux pour les données à grande dimension. Appliquer PCA au préalable réduit le nombre de dimensions tout en conservant le signal, ce qui diminue le coût du calcul des distances. Cette combinaison était courante pour les tâches de classification d’images avant la généralisation de l’apprentissage profond : réduire les pixels de l’image avec PCA, puis effectuer la classification avec un SVM.

Ajoutons du bruit gaussien au jeu de données des chiffres et comparons la précision du classificateur avec et sans débruitage par PCA. Sur des données bruitées, PCA améliore souvent la précision en écartant les composantes à faible variance dominées par le bruit.

Règle essentielle : n’ajustez jamais la transformation PCA sur l’ensemble d’évaluation. L’ajustement sur les données d’évaluation introduit les statistiques de cet ensemble dans le prétraitement et fournit des estimations de performances trop optimistes. L’utilisation d’un Pipeline applique automatiquement cette règle : lorsque vous appelez pipeline.fit(X_train, y_train), chaque étape — y compris PCA — est ajustée uniquement sur la partition d’entraînement.

Pour les jeux de données comportant des millions d’échantillons et des milliers de caractéristiques (par exemple, des matrices TF-IDF de textes ou des données génomiques), PCA réduit considérablement l’empreinte mémoire. Une matrice de 1M×5000 en float32 occupe 20 Go ; une réduction par PCA à 100 composantes produit une matrice de 1M×100 de 400 Mo, soit une réduction d’un facteur 50. Dans ce cas, utilisez IncrementalPCA de scikit-learn, qui ajuste PCA par blocs et n’a jamais besoin de charger la matrice complète dans la RAM.

Dans les jeux de données de types mixtes, vous pouvez appliquer PCA uniquement aux colonnes numériques, tout en encodant séparément les variables catégorielles, puis combiner le tout avec un ColumnTransformer. Il s’agit d’un schéma avancé, mais réaliste, pour les chaînes de traitement ML en production, lorsque des caractéristiques d’image, des mesures numériques et des indicateurs catégoriels coexistent sur une même ligne.

Dans cette leçon, vous avez appris que PCA dans une chaîne de traitement empêche les fuites de données en ajustant la transformation uniquement sur les données d’entraînement, que PCA peut accélérer l’entraînement et réduire le bruit, en particulier pour les ensembles de caractéristiques de grande dimension ou corrélées, et que n_components peut être réglé avec GridSearchCV en même temps que les autres hyperparamètres du modèle grâce à la notation utilisant deux traits de soulignement. Nous allons maintenant construire notre première chaîne de traitement scikit-learn complète, combinant un mise à l’échelle et un classifieur.