PCA come preprocessing: velocità e riduzione del rumore nelle pipeline

Oltre alla visualizzazione, PCA svolge il ruolo pratico di fase di preprocessing che fornisce feature compresse a un classificatore o regressore a valle. Eliminando le componenti a bassa varianza, che spesso codificano il rumore, PCA può velocizzare l'addestramento, ridurre l'utilizzo di memoria e talvolta migliorare la capacità di generalizzazione, soprattutto quando lo spazio delle feature originale ha dimensionalità molto elevata.

Il rumore casuale di misurazione tende a distribuirsi in molte direzioni nello spazio delle feature, ma la sua varianza è ridotta lungo ogni singola direzione. PCA concentra il segnale significativo nelle componenti principali e lascia il rumore nella coda a bassa varianza. Eliminando questa coda, di fatto si esegue il denoising dei dati. Per questo il pre-processing con PCA talvolta aiuta algoritmi come la regressione logistica, sensibili alle feature correlate o rumorose.

Il modo più pulito per usare PCA come preprocessing consiste nell'inserirla in una Pipeline. La pipeline garantisce che lo scaler e PCA vengano sottoposti a fit solo sui dati di addestramento e poi applicati in modo coerente ai dati di test. In questo modo si elimina un'intera classe di problemi di data leakage, che si verificano quando si dimentica di applicare la stessa trasformazione PCA al set di test.

Nei dataset ad alta dimensionalità, PCA può ridurre drasticamente il tempo di addestramento, perché il classificatore riceve molte meno feature. Eseguiamo un benchmark della regressione logistica sul dataset digits (64 feature), con e senza riduzione preliminare tramite PCA.

Il preprocessing con PCA è particolarmente utile quando: il numero di feature è elevato rispetto al numero di campioni (regime ad alta dimensionalità e pochi campioni), le feature sono correlate (informazioni ridondanti) oppure l'algoritmo è lento con molte feature (ad esempio, SVM con kernel RBF). PCA tende invece a NON essere utile quando: il dataset contiene già poche feature informative oppure si utilizzano modelli basati su alberi (random forest, XGBoost), che gestiscono nativamente le feature ridondanti e non traggono vantaggio dalla compressione lineare di PCA.

Poiché PCA è un passaggio all'interno di una Pipeline, è possibile regolare n_components insieme agli iperparametri del classificatore usando GridSearchCV. Utilizzi la notazione con doppio underscore, pca__n_components, per fare riferimento al parametro del passaggio PCA. In questo modo il ciclo di convalida incrociata può trovare simultaneamente il livello di compressione ottimale e la forza di regolarizzazione del modello.

Le SVM con kernel RBF calcolano le distanze a coppie nello spazio delle feature originale, un'operazione costosa per i dati ad alta dimensionalità. Applicare prima PCA riduce le dimensioni conservando il segnale e rende meno oneroso il calcolo delle distanze. Questa combinazione era una pratica standard nelle attività di classificazione delle immagini prima che il deep learning diventasse dominante: si riducevano i pixel dell'immagine con PCA e poi si eseguiva la classificazione con SVM.

Aggiungiamo rumore gaussiano al dataset digits e confrontiamo l'accuratezza del classificatore con e senza denoising tramite PCA. Sui dati rumorosi, PCA migliora spesso l'accuratezza eliminando le componenti a bassa varianza dominate dal rumore.

Una regola fondamentale: non esegua mai il fit della trasformazione PCA sul set di test. Eseguire il fit sui dati di test introduce nelle fasi di preprocessing le statistiche del set di test e produce stime delle prestazioni eccessivamente ottimistiche. L'utilizzo di una Pipeline impone automaticamente questa regola: quando si chiama pipeline.fit(X_train, y_train), ogni passaggio, incluso PCA, viene sottoposto a fit solo sulla suddivisione di addestramento.

Nei dataset con milioni di campioni e migliaia di feature (ad esempio, matrici TF-IDF testuali e dati genomici), PCA riduce drasticamente l'occupazione di memoria. Una matrice 1M×5000 in formato float32 occupa 20 GB; applicando PCA fino a 100 componenti si ottiene una matrice 1M×100 da 400 MB, con una riduzione di 50 volte. In questi casi, utilizzi IncrementalPCA di scikit-learn, che esegue il fit di PCA in blocchi e non richiede mai di caricare l'intera matrice nella RAM.

Nei dataset con tipi misti, è possibile applicare PCA solo alle colonne numeriche, codificare separatamente quelle categoriche e poi combinare il tutto con un ColumnTransformer. Si tratta di un approccio avanzato ma realistico per le pipeline di ML in produzione, dove feature di immagini, misurazioni numeriche e indicatori categorici coesistono nella stessa riga.

In questa lezione ha imparato che: PCA all'interno di una Pipeline previene il data leakage, eseguendo il fit della trasformazione solo sui dati di addestramento; PCA può velocizzare l'addestramento e ridurre il rumore, soprattutto per insiemi di feature ad alta dimensionalità o correlate; inoltre, n_components può essere regolato tramite GridSearchCV insieme agli altri iperparametri del modello, usando la notazione con doppio underscore. Ora costruiremo la nostra prima Pipeline completa di scikit-learn, combinando scaler e classificatore.