NLP Academy · 课时

解读文档—词语矩阵

理解行、列与稀疏性

第 4 / 4 课13 个步骤

解读文档—词语矩阵 是 CoddyKit 上的免费 NLP Academy 课时。 这是第 4 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 NLP Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 NLP Academy 课程共包含 4 节课。

什么是 DTM

文档-词项矩阵是一个计数网格。每一行代表一个文档,每一列代表词汇表中的一个单词。🧮

行代表文档

一行保存一个文档的完整计数向量,概括其中每个单词出现了多少次。

列代表词项

每个列都会记录一个单词在所有文档中的情况,因此沿着某列向下读取,就能看到该单词出现在哪些位置。

单元格表示计数

第 i 行、第 j 列的值表示单词 j 在文档 i 中出现的次数,也就是一个计数。

检查形状

矩阵的形状会告诉您正在处理多少个文档以及多少个不重复的单词。

print(X.shape)  # (n_documents, n_words)

大多数单元格都是零

单个文档只会使用数千个单词中的一小部分,因此矩阵大多是零,这称为稀疏矩阵。

稀疏性为何重要

只存储非零值可以让巨大的矩阵保留在内存中。这就是 scikit-learn 返回稀疏格式的原因。

标记列

将数组与特征名称配对,可以让它更易读。DataFrame 会将原始计数转换为清晰的表格。

import pandas as pd
df = pd.DataFrame(X.toarray(), columns=names)

读取一个文档

查看单独的一行,可以了解该文档的特征:它使用了哪些单词,以及使用了多少次。这一行就是它的指纹。

比较两个文档

相似的文档会有相似的行。比较向量可以测量两段文本在内容上的接近程度。

从矩阵到模型

这个矩阵就是您要提供给分类器的输入。DTM 是特征,而您的标签是目标。

快速检查

在文档-词项矩阵中,一个单元格保存什么?

回顾:DTM

您了解了文档-词项矩阵:行表示文档,列表示单词,单元格表示计数,并了解了它为什么是稀疏的。🎉

免费开始

用 AI 导师学习 Python — 免费

在浏览器中编写并运行真实代码,获得全天候 AI 导师的即时帮助,并在网页或应用中继续学习。

课程
30
课程
120

常见问题解答

「解读文档—词语矩阵」课时是免费的吗?

是的 — 「解读文档—词语矩阵」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 NLP Academy 课程的其余内容,请升级到 CoddyKit PRO。 NLP Academy 课程共包含 4 节课。

「解读文档—词语矩阵」这节课中我会学到什么?

理解行、列与稀疏性 你通过在浏览器中直接运行的动手代码来练习 NLP Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 NLP Academy 需要有经验吗?

无需任何先前经验。CoddyKit 上的 NLP Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 4 节课,共 4 节。

「解读文档—词语矩阵」课时需要多长时间?

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。

我能在这节 NLP Academy 课中编写并运行代码吗?

能。每节 NLP Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

  1. 模型为何需要数字而不是词语
  2. 构建词汇表
  3. 使用 CountVectorizer 进行计数
  4. 解读文档—词语矩阵
← 返回 NLP Academy