构建可复用的清理文本函数
将各个步骤封装到一个辅助函数中
构建可复用的清理文本函数 是 CoddyKit 上的免费 NLP Academy 课时。 这是第 4 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 NLP Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 NLP Academy 课程共包含 4 节课。
全部整合起来
您已经学习了小写化、移除停用词和去除标点符号。现在，让我们把它们组合成一个可复用的函数，以便在任何地方调用。
为什么辅助函数胜过复制粘贴
一个统一的 clean_text 函数可以确保每个文档都接受完全相同的处理。只需修复一次错误，整个项目都能受益。
从函数签名开始
先定义函数的形式。它接收原始文本，并返回一个干净的词元列表，这是后续步骤的标准输入。
def clean_text(text):
pass第一步：转换为小写
首先将所有内容统一转换为小写。这样 The 和 the 就能匹配，同时避免词汇表规模翻倍。
text = text.lower()第二步：去除符号
接下来，使用快速的正则表达式删除标点符号和多余符号，这样末尾的符号就不会黏在词语上。
import re
text = re.sub(r"[^a-z0-9 ]", " ", text)第三步：分词
将清理后的字符串拆分成词语。这里使用普通的 split 就很合适，因为您已经移除了杂乱的标点符号。
tokens = text.split()第四步：删除停用词
使用您的停用词集合过滤掉噪声词。在函数外部构建一次该集合，这样每次调用时就不必重新构建。
tokens = [t for t in tokens if t not in stops]组合起来
按顺序串联这些步骤并返回结果。这个紧凑的处理流程可以将任意原始字符串转换为干净的词元。
def clean_text(text):
text = text.lower()
text = re.sub(r"[^a-z0-9 ]", " ", text)
return [t for t in text.split() if t not in stops]试试看
将它用于一个杂乱的句子，观察其中的冗余内容消失。输出结果是一个整洁的列表，可以用于自然语言处理中的下一步。
print(clean_text("The Cats, dogs! and 2 birds."))让它更灵活
添加一个标志，让调用者可以在需要时保留停用词。可选的参数可以让一个辅助函数服务于多种任务。
def clean_text(text, drop_stops=True):
...大规模应用
因为它是一个函数，所以您可以在一行代码中将它映射到整个数据集，为每个文档执行一致的清理。
cleaned = [clean_text(doc) for doc in documents]快速检查
将清理步骤串联起来时，顺序很重要。
回顾
您构建了一个可复用的 clean_text 辅助函数：转换为小写、去除符号、分词，然后删除停用词。一个函数，就能在任何地方得到一致的结果。
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「构建可复用的清理文本函数」课时是免费的吗？
是的 — 「构建可复用的清理文本函数」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 NLP Academy 课程的其余内容，请升级到 CoddyKit PRO。 NLP Academy 课程共包含 4 节课。
「构建可复用的清理文本函数」这节课中我会学到什么？
将各个步骤封装到一个辅助函数中 你通过在浏览器中直接运行的动手代码来练习 NLP Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 NLP Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 NLP Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 4 节课，共 4 节。
「构建可复用的清理文本函数」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 NLP Academy 课中编写并运行代码吗？
能。每节 NLP Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 什么是停用词
- 使用 NLTK 过滤停用词
- 去除标点符号与其他符号
- 构建可复用的清理文本函数