나이브 베이즈의 직관

몇 개의 특징적인 단어만으로 스팸 이메일을 알아낸다고 생각해 보세요. 나이브 베이즈는 그 직감을 깔끔한 확률 계산으로 바꿉니다.

모델의 기반은 새로운 증거를 본 뒤 믿음을 갱신하는 규칙인 베이즈 정리입니다. 여기서 증거는 텍스트에 포함된 단어입니다.

모델은 각 레이블에 대해 이 텍스트가 얼마나 가능성 높은지 묻습니다. 그런 다음 예측으로 가장 높은 확률의 분류를 선택합니다.

각 단어는 답을 어느 한 분류 쪽으로 조금씩 움직입니다. free라는 단어는 스팸 쪽으로 밀고, invoice는 반대 방향으로 끌어당길 수 있습니다.

모델은 모든 단어가 서로 독립적이라고 가정합니다. 실제로는 그렇지 않지만, 이렇게 가정하면 계산이 빠르고 놀라울 만큼 효과적입니다.

독립성 덕분에 단어별 확률을 서로 곱합니다. 이 단순한 곱 덕분에 나이브 베이즈는 학습과 실행이 매우 빠릅니다.

학습은 대부분 각 분류에서 각 단어가 얼마나 자주 나타나는지 세는 과정입니다. 이러한 카운트가 모델에 필요한 확률로 바로 변환됩니다.

어떤 단어를 읽기 전에도 일부 분류는 단순히 더 흔합니다. 이 기본 비율이 사전 확률이며, 모델은 이를 단어에서 얻은 증거와 결합합니다.

어떤 분류에서 한 번도 보지 못한 단어는 확률이 0이 되어 전체 곱을 없애 버립니다. 이를 피하기 위해 평활화로 아주 작은 카운트를 더합니다.

나이브 베이즈는 카운트만 저장하므로 몇 초 안에 학습하고 메모리도 적게 사용합니다. 이러한 속도 덕분에 텍스트 분류를 위한 훌륭한 첫 기준선이 됩니다. ⚡

스팸 필터와 주제 분류에서는 이 오래된 방법이 여전히 잘 작동합니다. 단순한 확률이 텍스트에서 훨씬 복잡한 모델보다 좋은 성능을 내는 경우도 많습니다.

나이브 베이즈에서 ‘나이브’라고 부르는 이유는 무엇인가요?

나이브 베이즈가 간단한 단어 카운트를 곱해 가장 가능성 높은 분류를 선택하고, 평활화로 0이 되는 문제를 피하는 방식을 살펴보았습니다. 다음에는 스팸 탐지기를 만들어 보겠습니다. ✅