특성이 너무 많을 때의 문제

feature를 추가하면 도움이 될 것 같지만, 어느 지점을 넘으면 새 column 하나하나가 data를 더 희소하게 만들고 model을 학습하기 어렵게 합니다. 😬

이러한 압박이 바로 차원의 저주입니다. 차원이 늘어날수록 공간은 폭발적으로 커지고 data point는 서로 멀리 흩어집니다.

매우 높은 차원에서는 거의 모든 점의 쌍이 대략 같은 거리에 놓입니다. 따라서 거리 기반 method는 서로를 구분하지 못하게 됩니다.

같은 밀도를 유지하려면 필요한 row 수가 feature 수에 따라 지수적으로 늘어납니다. 실제 dataset에는 그렇게 많은 row가 없으므로 공간 대부분이 비어 있게 됩니다.

column은 많고 row는 적으면 model이 신호 대신 noise를 외울 수 있습니다. 이러한 과적합은 학습에서는 매우 좋아 보이지만 새 data에서는 실패합니다.

키를 cm로 나타낸 값과 inch로 나타낸 값처럼 많은 feature가 서로 조용히 같은 정보를 반복합니다. 이러한 중복은 새로운 정보 없이 비용만 늘립니다.

추가되는 column마다 약간의 측정 noise가 들어 있습니다. 이런 column을 충분히 쌓으면 noise가 정말 중요한 몇 개의 feature를 가릴 수 있습니다.

차원이 늘어나면 memory 사용량이 증가하고 학습 시간이 길어집니다. 열이 많은 table에서는 단순한 model도 느리고 조정하기 어려워집니다.

2차원이나 3차원은 plot으로 나타낼 수 있지만 50차원은 불가능합니다. 고차원 data는 직접 시각화하거나 추론하기가 거의 불가능합니다.

feature 선택으로 약한 column을 제거하거나, PCA 같은 feature 추출을 사용해 column을 더 적은 수의 새 column으로 결합할 수 있습니다.

PCA는 상관관계가 있는 많은 feature를 소수의 새 축으로 압축합니다. 정보 대부분은 유지하면서 차원 수를 줄이는 방식입니다.

feature가 너무 많으면 차원의 저주가 발생합니다. data는 희소해지고, 거리는 모호해지며, 과적합이 생깁니다. PCA 등을 사용해 차원을 줄이면 이를 해결할 수 있습니다. 🎯