문장 분할 기초

때로는 단어가 아니라 완전한 문장이 필요합니다. 문장 분할은 한 문장이 끝나고 다음 문장이 시작되는 지점을 찾습니다. 📑

가장 강력한 신호는 문장 끝의 문장 부호입니다. 마침표, 물음표, 느낌표는 대개 문장을 끝냅니다.

마침표를 기준으로 나누면 된다고 생각할 수 있습니다. 단순한 텍스트에서는 잘 작동하여 깔끔한 두 문장을 정돈된 목록으로 바꿉니다.

여기에는 함정이 있습니다. 모든 마침표가 문장을 끝내는 것은 아닙니다. Dr.나 U.S.A. 같은 약어에도 마침표가 있어 단순한 분할을 혼란스럽게 합니다.

3.14 같은 숫자에도 마침표가 들어 있습니다. 무작정 나누면 하나의 숫자가 깨진 두 조각으로 나뉩니다.

대화가 들어가면 더 어려워집니다. 따옴표 안에서 문장이 끝날 수 있으므로 닫는 따옴표가 마침표 뒤에 올 수 있습니다.

마침표가 문장을 끝내는지 판단하려면 주변 맥락을 살펴봐야 합니다. 다음 문자, 대문자 사용 여부, 알려진 약어 등을 확인해야 합니다.

많은 작업은 문장 단위로 작동합니다. 요약 도구, 번역기, 감정 분석 도구는 모두 제대로 작동하기 위해 정확한 경계에 의존합니다.

규칙이 복잡하므로 실제 코드에서는 학습된 도구를 사용합니다. NLTK의 sent_tokenize가 약어와 예외 상황을 대신 처리해 줍니다.

일반적인 순서는 먼저 문장을 나눈 다음 단어를 나누는 것입니다. 문장으로 분할한 뒤 각 문장을 자체 단어 목록으로 토큰화합니다.

문장 규칙은 언어마다 다릅니다. 일부 문자는 고유한 문장 끝 표시를 사용하므로, 좋은 도구는 영어에만 고정되지 않고 언어를 인식해야 합니다.

모든 마침표를 기준으로 나누는 것이 위험한 이유는 무엇인가요?

문장 분할은 문장 경계를 찾습니다. 마침표는 단서일 뿐 확실한 증거는 아니므로 약어와 소수가 단순한 분할을 방해합니다. sent_tokenize 같은 도구가 이를 처리합니다.