테스트 세트를 따로 두는 이유

데이터를 암기한 모델은 그 데이터에서 뛰어나 보입니다. 진짜 질문은 모델이 본 적 없는 데이터에서 어떻게 작동하는가입니다.

따라서 데이터의 일부를 따로 떼어 두고 그 데이터로는 절대 훈련하지 않습니다. 이렇게 보관한 부분이 마지막에 사용하는 테스트 세트입니다.

모델은 훈련 세트만으로 학습합니다. 그런 다음 손대지 않은 테스트 세트로 평가하여 실제로 얼마나 일반화되는지 확인합니다. 🎯

학습에 사용한 동일한 행으로 점수를 계산하는 것은 답안지를 펼쳐 둔 채 시험을 채점하는 것과 같습니다. 그 숫자는 모델을 실제보다 좋게 보이게 하며 능력을 과대평가합니다.

오래된 데이터에 얼마나 잘 맞는지는 중요하지 않습니다. 중요한 것은 일반화입니다. 즉, 내일 새로 들어올 보지 못한 행에서도 좋은 예측을 만드는 것입니다.

모델이 훈련 데이터에는 완벽하지만 테스트 세트에서는 형편없다면 과적합입니다. 실제 패턴을 학습하는 대신 잡음을 암기한 것입니다.

간단하고 널리 쓰이는 방법은 행의 약 80%로 훈련하고 나머지 20%로 테스트하는 것입니다. 학습할 데이터는 충분히 확보하면서 공정하게 평가할 데이터도 남겨 둡니다.

테스트 세트는 신중하게 다뤄야 합니다. 점수가 좋아질 때까지 계속 확인하고 수정하면, 모르는 사이에 테스트 세트 정보를 의사 결정에 누수시킨 것입니다.

scikit-learn에서는 도우미 함수 하나가 대신 분할해 줍니다. 한 번의 호출로 데이터를 섞고 훈련 부분과 테스트 부분으로 나눕니다.

테스트 세트의 점수는 실제 환경에서의 성능을 보여 주는 정직한 추정값입니다. 높게 나온 훈련 점수보다 이 값을 더 신뢰하세요.

데이터를 따로 보관하는 것은 번거로운 형식 절차가 아닙니다. 모델이 실제로는 이론상으로만 작동하는 상태로 배포되는 일을 막는 가장 중요한 습관입니다.

데이터를 나누고, 훈련 부분으로 학습한 다음, 신중하게 보관한 테스트 세트로 평가합니다. 손대지 않은 이 부분이 실제 환경에서의 성능을 정직하게 보여 줍니다. 🎯