불용어란 무엇일까요?

어떤 단어는 어디에나 등장하지만 주제에 대해 거의 아무것도 알려 주지 않습니다. 이러한 단어를 불용어라고 하며, 이를 식별하는 것이 첫 번째 정리 기술입니다.

이 문장을 읽어 보십시오: the cat sat on the mat. 실제 신호는 cat, sat, mat입니다. the와 on 같은 단어는 문장을 이어 주는 접착제일 뿐입니다.

불용어는 매우 흔해서 거의 모든 문서에 나타납니다. 따라서 한 문서를 다른 문서와 구별하는 데 쓸모가 없습니다.

대표적인 영어 불용어에는 the, a, is, and, of, to, in, it이 있습니다. 대명사와 전치사가 여기에 많이 포함됩니다.

NLP를 시끄러운 방에서 목소리를 듣는 일이라고 생각해 보십시오. 불용어를 제거하면 잡음이 줄어들어 의미 있는 단어가 더 분명하게 드러납니다.

직접 작은 집합을 만들어 시작할 수 있습니다. Python 집합은 포함 여부를 빠르게 확인하므로 필터링에 정확히 알맞습니다.

단어가 집합에 포함되어 있는지 확인하는 작업은 불용어가 수천 개여도 거의 즉시 끝납니다. 목록은 커질수록 느려집니다.

공식적으로 정해진 하나의 목록은 없습니다. 라이브러리와 프로젝트마다 자체적인 불용어 목록을 관리하므로 서로 조금씩 다릅니다.

불용어가 항상 쓸모없는 것은 아닙니다. 감정 분석이나 작가의 문체 같은 작업에서는 not, very와 같은 짧은 단어도 실제 의미를 전달하므로 남겨야 합니다.

여러분의 데이터에도 고유한 잡음이 있을 수 있습니다. 법률 텍스트에서 hereby나 shall 같은 단어는 제거할 가치가 있는 분야별 불용어로 작용합니다.

불용어 제거는 더 큰 정리 습관의 한 단계입니다. 신호를 더하지 않는 것은 버리고, 모델의 판단에 도움이 되는 것은 남기십시오.

불용어의 개념을 제대로 이해했는지 확인해 보겠습니다.

잘하셨습니다. 불용어는 매우 흔하고 신호를 거의 더하지 않는 단어이므로, 작업에 중요한 단어는 남기면서 자주 필터링합니다.