Token 到底是什么
词语、标点以及自然语言处理的基本单位。
Token 到底是什么 是 CoddyKit 上的免费 NLP Academy 课时。 这是第 1 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 NLP Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 NLP Academy 课程共包含 4 节课。
认识词元
词元是代码处理的最小文本单位。在进行任何分析之前，您需要先将句子切分成这些细小的片段。🧩
通常是一个单词
大多数时候，词元就是一个单词。句子 I love cats 会变成三个词元：I、love 和 cats。
标点符号也会计数
标点符号也可以独立成为一个词元。拆分 Hi, there! 后，会得到 Hi、逗号、there 和感叹号这几个独立片段。
词元为何重要
计算机无法将句子作为一整块文本来读取。词元化会将杂乱的文本转换为整洁的列表，供程序进行计数和比较。
将词元作为列表处理
在 Python 中，词元通常存放在字符串列表中。这个列表是您将要构建的几乎所有 NLP 任务的起点。
tokens = ["I", "love", "cats"]
print(len(tokens)) # 3NLP 的基本单位
词元是 NLP 衡量一切内容所使用的单位。词数、词汇表和特征都从这个简单概念开始。
不一定是完整单词
词元不一定是完整的单词。现代模型经常使用子词，将 unhappiness 拆分为 un、happi 和 ness，从而处理罕见词。
缩写形式更棘手
那么 don't 呢？智能分词器可能会将它拆分为 do 和 n't，因为这样可以表示其中隐藏的单词 not。
数字和符号
词元不只有字母。像 $5 这样的价格或像 2024 这样的年份也都是词元，而如何拆分它们确实非常重要。
词元化的定义
将文本拆分为词元的过程称为词元化。这是您将编写的几乎所有 NLP 流水线中的第一步。
选择会带来后果
词元化没有唯一正确的方法。您选择的规则会影响后续的每一次计数和结果，因此值得认真考虑。
快速检查
让我们确认一下您是否掌握了这个核心概念。
回顾
您已经了解到，词元是文本的基本单位：可以是单词、符号，甚至是子词。词元化会将文本拆分为整洁的列表，以便进一步处理。
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「Token 到底是什么」课时是免费的吗？
是的 — 「Token 到底是什么」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 NLP Academy 课程的其余内容，请升级到 CoddyKit PRO。 NLP Academy 课程共包含 4 节课。
「Token 到底是什么」这节课中我会学到什么？
词语、标点以及自然语言处理的基本单位。 你通过在浏览器中直接运行的动手代码来练习 NLP Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 NLP Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 NLP Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 1 节课，共 4 节。
「Token 到底是什么」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 NLP Academy 课中编写并运行代码吗？
能。每节 NLP Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- Token 到底是什么
- 按空白字符切分及其局限
- 句子分割基础
- 使用 NLTK 进行分词