스크리 도표로 성분 선택하기

PCA는 수십 개의 성분을 만들 수 있지만, 실제로 필요한 것은 유용한 소수입니다. 진짜 실력은 몇 개를 유지할지 선택하는 데 있습니다.

스크리 plot은 각 성분을 그 성분이 설명하는 분산과 함께 표시하므로, 중요도가 떨어지는 지점을 한눈에 볼 수 있습니다.

분산은 빠르게 감소한 뒤 평평한 꼬리 부분으로 이어집니다. 팔꿈치라고 부르는 이 굽은 지점은 성분을 더 추가해도 이득이 줄어드는 곳을 나타냅니다.

모든 성분으로 PCA를 적합한 다음 설명된_분산_비율_을 plot으로 표시해 곡선을 그리고 팔꿈치 지점을 찾습니다.

비율을 차례로 더하면 누적 분산을 얻을 수 있습니다. 이는 처음 k개 성분이 유지하는 전체 정보를 보여 줍니다.

일반적인 규칙은 전체 분산의 95%처럼 목표치에 도달할 만큼 충분한 성분을 유지하는 것입니다.

n_components에 비율을 전달하면 scikit-learn이 설명된 분산 목표에 도달하는 데 필요한 만큼만 성분을 유지합니다.

또 다른 기준인 Kaiser 규칙은 고유값이 1보다 큰 성분을 유지합니다. 이는 하나의 feature보다 더 많은 정보를 설명한다는 뜻입니다.

성분이 적으면 model은 더 단순하고 빠르지만 손실되는 세부 정보가 많아집니다. k를 선택하는 일은 크기와 충실도 사이의 절충입니다.

가장 좋은 k는 실제 작업에 도움이 되는 값입니다. 몇 가지 값을 시도하고 교차 검증으로 model 점수를 비교하세요.

팔꿈치 지점 이후의 성분은 대부분 noise를 포착하는 경우가 많습니다. 이를 유지해도 거의 도움이 되지 않으며 model 성능을 조용히 해칠 수 있습니다.

스크리 plot, 팔꿈치 지점 또는 누적 분산 기준을 사용해 필요한 만큼의 성분만 유지한 다음, 후속 작업에서 k를 검증하세요. 🎯