word2vec 如何学习意义
通过预测上下文捕捉相似性
word2vec 如何学习意义 是 CoddyKit 上的免费 NLP Academy 课时。 这是第 2 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 NLP Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 NLP Academy 课程共包含 4 节课。
核心问题
程序如何在没有词典的情况下学习词语含义？著名的word2vec方法用一个巧妙的技巧回答了这个问题。
你由身边的词定义
核心思想是分布假设：一个词由它周围的词来定义。相似的上下文意味着相似的含义。
预测上下文
word2vec 会在文本上滑动一个小窗口，并学习根据邻近词预测每个词。这就是skip-gram训练设置。
窗口示例
给定一个中心词，模型会猜测附近的词。这里的窗口显示了它尝试预测的邻近词。
sentence = "the small kitten slept softly"
center = "kitten"
window = ["small", "slept"]两种形式
Skip-gram 根据一个词预测上下文，而CBOW根据上下文预测一个词。两者都会学习向量，只是方向相反。
向量才是目标
预测任务只是一个手段。我们最终保留的是隐藏的权重，训练完成后，它们会成为每个词的向量。
由错误逐步调整
每次猜错都会让向量稍微调整一点。经过数百万个示例，这些微小的更新会将含义塑造成数值。
上下文将词语拉近
出现在相似上下文中的词会在空间中彼此拉近。这就是 king 和 queen 最终会彼此接近的原因。
负采样
对词汇表中的每个词进行训练速度太慢，因此 word2vec 使用负采样，只从少数错误词中学习，而不是遍历所有词。
无需标签
巧妙之处在于，原始文本本身就是老师。word2vec 是自监督的，无需人工标签就能学习含义。🤖
它为何改变了自然语言处理
向量上的简单数学第一次反映出了真实的词语关系。word2vec 让嵌入对所有人都变得实用。
快速检查
word2vec 实际上训练的是什么任务？
回顾
word2vec 通过预测上下文来学习含义，然后将权重保留为向量。相似的上下文会将词语拉得接近，而且整个过程无需标签。✅
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「word2vec 如何学习意义」课时是免费的吗？
是的 — 「word2vec 如何学习意义」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 NLP Academy 课程的其余内容，请升级到 CoddyKit PRO。 NLP Academy 课程共包含 4 节课。
「word2vec 如何学习意义」这节课中我会学到什么？
通过预测上下文捕捉相似性 你通过在浏览器中直接运行的动手代码来练习 NLP Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 NLP Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 NLP Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 2 节课，共 4 节。
「word2vec 如何学习意义」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 NLP Academy 课中编写并运行代码吗？
能。每节 NLP Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 从稀疏计数到稠密向量
- word2vec 如何学习意义
- 在 Python 中加载 GloVe 向量
- 词语运算：King 减 Man 加 Woman