다항 모델과 베르누이 모델 비교

텍스트에 사용하는 나이브 베이즈에는 두 가지 주요 변형이 있습니다. 다항형과 베르누이 중 적절한 것을 선택하면 정확도가 눈에 띄게 향상될 수 있습니다.

다항형 모델은 각 단어가 몇 번 나타나는지를 중요하게 봅니다. 다섯 번 등장한 단어는 한 번 등장한 단어보다 더 강한 증거로 간주됩니다.

베르누이 모델은 단어가 있는지 없는지만 확인합니다. 반복 횟수는 중요하지 않으며, 각 단어는 단순한 예 또는 아니요 신호가 됩니다.

다항형은 빈도를 읽고, 베르누이는 존재 여부를 읽습니다. 이 한 가지 차이가 어떤 모델이 텍스트에 가장 잘 맞는지를 결정합니다.

베르누이는 누락된 단어도 의미 있는 증거로 취급합니다. 무료라는 단어가 없다는 사실 자체가 메시지를 정상 메시지 클래스 쪽으로 기울일 수 있습니다.

단어 개수가 실제 신호를 담고 있는 긴 문서에는 MultinomialNB를 사용하십시오. 주제 분류와 문서 분류에서 일반적으로 사용하는 기본 선택입니다.

트윗이나 제목처럼 짧은 문장에서는 개수보다 존재 여부가 더 중요합니다. 이 경우에는 BernoulliNB가 자주 더 좋은 결과를 냅니다.

베르누이는 이진 특성을 기대하므로 개수를 자동으로 이진화할 수 있습니다. 다항형은 벡터화기에서 바로 나온 원래의 개수를 사용합니다.

GaussianNB도 볼 수 있지만, 이 모델은 단어 개수가 아니라 연속적인 숫자를 기대합니다. 일반적인 텍스트 특성에는 사용하지 마십시오.

두 변형은 완전히 동일한 scikit-learn API를 공유합니다. 클래스 이름만 바꾼 다음 평소처럼 fit을 호출하고 예측하면 됩니다. 🔄

확신이 서지 않는다면 두 모델을 모두 학습시키고 검증용으로 따로 둔 세트에서 비교하십시오. 실제 데이터에서 더 높은 정확도를 보이는 모델을 선택하면 됩니다.

다항형의 개수와 베르누이의 존재 여부를 비교하고, 각각 어떤 상황에서 강점을 보이는지 배웠으며, 두 모델이 하나의 API를 공유한다는 것도 확인했습니다. 둘 다 시도하고 데이터가 선택하게 하십시오. ✅