Memilih Komponen dengan Grafik Scree

PCA dapat menghasilkan lusinan komponen, tetapi Anda hanya menginginkan beberapa yang berguna. Keterampilan sebenarnya adalah memilih berapa banyak yang dipertahankan.

Scree plot memetakan setiap komponen terhadap varians yang dijelaskannya, sehingga Anda dapat melihat penurunan kepentingan secara sekilas.

Varians turun dengan cepat, lalu mendatar menjadi ekor yang rata. Tekukan yang disebut elbow menandai titik ketika komponen tambahan tidak lagi memberikan manfaat berarti.

Lakukan fit pada PCA dengan semua komponen, lalu buat plot explained_variance_ratio_ untuk menggambar kurva dan menemukan elbow.

Jumlahkan rasio tersebut seiring Anda melangkah untuk mendapatkan varians kumulatif, yang menunjukkan total informasi yang dipertahankan oleh k komponen pertama.

Aturan umum adalah mempertahankan komponen yang cukup untuk mencapai target, misalnya 95 persen dari total varians yang dipertahankan.

Berikan pecahan sebagai n_components, lalu scikit-learn akan mempertahankan komponen secukupnya untuk mencapai target varians yang dijelaskan tersebut.

Panduan lain, yaitu aturan Kaiser, mempertahankan komponen yang nilai eigennya melebihi satu, artinya komponen tersebut menjelaskan lebih banyak daripada satu fitur saja.

Komponen yang lebih sedikit menghasilkan model yang lebih sederhana dan cepat, tetapi lebih banyak detail yang hilang. Memilih k selalu merupakan kompromi antara ukuran dan kesetiaan.

Nilai k terbaik adalah yang membantu tugas nyata Anda. Cobalah beberapa nilai dan bandingkan skor model dengan validasi silang.

Komponen setelah titik siku sering kali terutama menangkap derau. Mempertahankannya jarang membantu dan dapat diam-diam merugikan model Anda.

Gunakan plot scree, titik siku, atau ambang varians kumulatif untuk mempertahankan komponen secukupnya, lalu validasi k pada tahap berikutnya. 🎯