模型为何会变大
规模、预训练与涌现能力
模型为何会变大 是 CoddyKit 上的免费 NLP Academy 课时。 这是第 1 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 NLP Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 NLP Academy 课程共包含 4 节课。
因设计而庞大
大型语言模型是一种在海量文本上训练的 Transformer，拥有数十亿个用于存储语言模式的参数。🤖
什么是参数
模型的参数是通过学习得到的数字，它们决定模型如何进行预测。参数越多，模型就越有能力捕捉细微的模式。
在互联网文本上训练
在预训练期间，模型会读取海量文本，并通过一次又一次预测下一个词来学习，次数达到数十亿次。
下一个词游戏
这个简单的目标非常强大：为了准确猜出下一个词，模型必须吸收隐藏在文本中的语法、事实和推理能力。
prompt = "The capital of France is"
# the model predicts: Paris规模意味着三件事
扩大规模意味着更多参数、更多训练数据以及更多 compute。让这三者共同增长，才能解锁新的能力。
涌现能力
当模型规模超过某个程度后，就会展现出涌现能力，例如翻译或推理，而较小的模型根本无法做到这些事情。
一个模型，多种任务
单个大型模型是一种通用工具：同一组权重可以用于摘要、回答问题、编写代码和翻译。
基础模型
这些广泛的预训练模型被称为基础模型，因为您可以在它们之上构建具体应用。
通过对齐进行完善
预训练之后，模型会根据指令和人工反馈进行微调，从而遵循请求并保持实用性。
上下文窗口
LLM 一次只能读取有限的内容。这个限制就是上下文窗口，以词元为单位衡量，并限制您可以发送的内容量。
为什么仍然会出错
即使是非常庞大的模型，也可能自信地编造事实。这称为幻觉，也是您必须验证重要输出的原因。
快速检查
大型语言模型在预训练期间接受训练的核心任务是什么？
回顾
大型模型扩展了参数、数据和 compute。这样的规模带来了涌现能力，但也带来了上下文限制和产生幻觉的风险。✅
常见问题解答
「模型为何会变大」课时是免费的吗？
是的 — 「模型为何会变大」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 NLP Academy 课程的其余内容，请升级到 CoddyKit PRO。 NLP Academy 课程共包含 4 节课。
「模型为何会变大」这节课中我会学到什么？
规模、预训练与涌现能力 你通过在浏览器中直接运行的动手代码来练习 NLP Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 NLP Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 NLP Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 1 节课，共 4 节。
「模型为何会变大」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 NLP Academy 课中编写并运行代码吗？
能。每节 NLP Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。