NLTK로 토큰화하기

이제 한 단계 발전해 보겠습니다. NLTK는 복잡한 실제 텍스트에 적합한 토크나이저를 제공하는 전통적인 파이썬 라이브러리입니다. 🛠️

pip으로 한 번 설치한 다음 스크립트에서 가져옵니다. 그러면 NLTK의 word_tokenize를 함수 호출 한 번으로 사용할 수 있습니다.

NLTK는 추가 데이터를 별도로 제공합니다. 토큰화하기 전에 punkt 모델을 한 번 download하면 이후에는 바로 작동합니다.

이제 어떤 문자열이든 word_tokenize에 전달하세요. 그러면 세거나 필터링할 수 있는 단어 및 문장 부호 토큰의 깔끔한 목록이 반환됩니다.

개선된 점을 확인해 보세요. 느낌표가 이제 자체 토큰이 되었습니다. 따라서 cats와 cats!가 마침내 같은 단어로 계산됩니다.

NLTK는 축약형을 똑똑하게 처리합니다. don't를 do와 n't로 나누어 숨은 부정 의미를 코드에서 확인할 수 있게 합니다.

내부적으로 NLTK는 실제 텍스트에서 학습한 언어적 규칙을 따릅니다. 그래서 매번 단순한 공백 분할보다 더 잘 작동합니다.

NLTK는 문장도 분할합니다. sent_tokenize와 word_tokenize를 함께 사용하면 문서를 문장으로 나눈 다음 각 문장을 단어로 나눌 수 있습니다.

일반적인 패턴은 문장을 순회하며 각각을 토큰화하는 것입니다. 그러면 문장마다 하나씩 토큰 목록이 들어 있는 깔끔한 목록의 목록을 얻습니다.

NLTK는 학습에 훌륭하지만 유일한 선택지는 아닙니다. spaCy 같은 라이브러리는 더 빠른 토크나이저를 제공하며, 나중에 만나게 됩니다.

이제 전체 과정을 갖추었습니다. 원시 텍스트를 입력하면 깔끔한 토큰 목록이 출력됩니다. 이는 이후 모든 NLP 단계의 기반입니다.

NLTK로 실제 텍스트를 토큰화했습니다. 설치하고 punkt를 download한 다음 word_tokenize를 호출하면 됩니다. 문장 부호와 축약형도 깔끔하게 나누어 줍니다.