使用 NLTK 进行分词

是时候升级了。NLTK 是一个经典的 Python 库，可以为杂乱的真实文本提供正规的分词器。🛠️

您只需使用 pip 安装一次，然后在脚本中导入它。之后，只需调用一个函数即可使用 NLTK 的 word_tokenize。

NLTK 会单独提供额外的数据。在进行词元化之前，您需要先下载一次 punkt 模型，之后就可以直接使用了。

现在，将任意字符串传递给 word_tokenize。它会返回一个整洁的单词和标点符号词元列表，可以直接进行计数或筛选。

请注意这个改进：感叹号现在是独立的词元。因此，cats 和 cats! 终于会被计为同一个单词。

NLTK 能够智能处理缩写形式。它会将 don't 拆分为 do 和 n't，让代码能够识别其中隐藏的否定含义。

在底层，NLTK 遵循从真实文本中学习到的语言学规则。这就是它每次都优于普通空白拆分的原因。

NLTK 也可以分割句子。将 sent_tokenize 与 word_tokenize 结合起来，就能先将文档拆分为句子，再将每个句子拆分为单词。

一种常见模式是遍历句子，并分别对每个句子进行词元化。这样会得到一个整齐的列表的列表，每个句子对应一个词元列表。

NLTK 非常适合学习，但并不是唯一选择。像 spaCy 这样的库提供了更快的分词器，您将在后续学习中遇到它们。

现在，您已经掌握了完整流程：输入原始文本，输出整洁的词元列表。这是后续每个 NLP 步骤所建立的基础。

您使用 NLTK 对真实文本进行了词元化：安装、下载 punkt，然后调用 word_tokenize。它会为您整洁地拆分标点符号和缩写形式。