NLP Academy · 课时

什么是停用词

常见但承载很少意义的词语

第 1 / 4 课13 个步骤

什么是停用词 是 CoddyKit 上的免费 NLP Academy 课时。 这是第 1 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 NLP Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 NLP Academy 课程共包含 4 节课。

含义很少的单词

有些单词到处出现,却几乎不能告诉您任何主题信息。我们称这些词为停用词,学会识别它们是您进行清理的第一项技能。

自己找出它们

请阅读这一行:the cat sat on the mat。真正的信号是 cat、sat 和 mat。像 the 和 on 这样的词只是连接句子的胶水。

它们为何有害

停用词非常常见,几乎出现在每篇文档中。因此,它们对于区分不同文档几乎没有用处。

常见的可疑对象

典型的英语停用词包括 the、a、is、and、of、to、in 和 it。代词和介词在其中占了很大一部分。

噪声与信号

可以把自然语言处理想象成在嘈杂房间里聆听一个人的声音。移除停用词就像调低噪声,让有意义的词清晰地传达出来。

一个小型停用词集合

您可以先建立一个自己的小型集合。Python 集合能够快速检查成员关系,这正是过滤所需要的功能。

stopwords = {"the", "a", "is", "and", "of", "to"}
print("the" in stopwords)

为什么用集合而不是列表

检查一个单词是否属于集合几乎可以瞬间完成,即使集合中有数千个停用词也是如此。列表变长后,检查速度会越来越慢。

不存在唯一正确的列表

不存在一份唯一的官方列表。每个库和项目都有自己的停用词列表,因此它们之间会略有不同。

何时保留它们

停用词并不总是无用的。对于情感分析或作者风格等任务,not 和 very 这样的小词承载着真正的含义,应该保留。

领域停用词

您自己的数据可能有独特的噪声。在法律文本中,hereby 或 shall 这样的词也可以充当值得移除的领域停用词。

清理思维

移除停用词是更大范围的清理习惯中的一步:去掉不提供信号的内容,保留能够帮助模型做出判断的内容。

快速检查

让我们确认您已经理解了停用词这个概念。

回顾

做得不错。停用词是非常常见、却几乎不提供信号的单词,因此我们通常会将它们过滤掉,同时保留对任务有用的词。

免费开始

用 AI 导师学习 Python — 免费

在浏览器中编写并运行真实代码,获得全天候 AI 导师的即时帮助,并在网页或应用中继续学习。

课程
30
课程
120

常见问题解答

「什么是停用词」课时是免费的吗?

是的 — 「什么是停用词」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 NLP Academy 课程的其余内容,请升级到 CoddyKit PRO。 NLP Academy 课程共包含 4 节课。

「什么是停用词」这节课中我会学到什么?

常见但承载很少意义的词语 你通过在浏览器中直接运行的动手代码来练习 NLP Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 NLP Academy 需要有经验吗?

无需任何先前经验。CoddyKit 上的 NLP Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 1 节课,共 4 节。

「什么是停用词」课时需要多长时间?

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。

我能在这节 NLP Academy 课中编写并运行代码吗?

能。每节 NLP Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

  1. 什么是停用词
  2. 使用 NLTK 过滤停用词
  3. 去除标点符号与其他符号
  4. 构建可复用的清理文本函数
← 返回 NLP Academy