Skalakan Dahulu, Lalu Sesuaikan PCA

PCA mencari varians terbesar, tetapi varians bergantung pada satuan. Fitur dengan angka besar dapat mendominasi hanya karena scale-nya.

Bayangkan gaji dalam dolar berdampingan dengan usia dalam tahun. Gaji bervariasi dalam ribuan, sehingga PCA akan menganggapnya jauh lebih penting secara tidak adil.

Solusinya adalah standardization: ubah skala setiap fitur menjadi rata-rata nol dan varians satu agar semuanya memulai dari kondisi yang setara.

Di scikit-learn, StandardScaler memusatkan dan mengubah skala kolom Anda sebelum PCA memprosesnya.

Jalankan PCA pada data yang telah diskalakan, bukan data mentah. Kini setiap komponen mencerminkan struktur nyata, bukan units yang tidak seimbang.

PCA mengasumsikan data berpusat di nol. Standardisasi menanganinya dengan mengurangi rata-rata setiap kolom, sehingga sumbu melewati pusat data.

Bungkus scaler dan PCA dalam Pipeline agar penskalaan selalu dilakukan terlebih dahulu dan tidak pernah bocor ke bagian data lain.

Lakukan fit pada scaler menggunakan data pelatihan, lalu gunakan kembali scaler tersebut pada data pengujian. Melakukan fit pada seluruh data membocorkan informasi dan memperbesar skor Anda.

Jika setiap fitur sudah menggunakan satuan dan rentang yang sama, penskalaan tidak terlalu penting. Jika ragu, lakukan standardize saja; langkah ini jarang menimbulkan masalah.

Jalankan PCA dengan dan tanpa penskalaan pada data yang menggunakan berbagai satuan. Variance yang dijelaskan dan komponen teratas akan tampak sangat berbeda.

Jika terdapat pencilan yang kuat, pertimbangkan RobustScaler, yang menggunakan median dan kuartil agar titik ekstrem lebih sedikit memengaruhi PCA.

PCA peka terhadap skala, jadi lakukan standardize terlebih dahulu, lakukan fit hanya pada data pelatihan, dan gunakan pipeline untuk menjaga urutannya tetap aman. 🎯