从自动补全到 ChatGPT
追溯从基础文本预测到现代对话式人工智能的发展历程，理解大型语言模型与早期自然语言处理方法的区别。
从自动补全到 ChatGPT 是 CoddyKit 上的免费 AI Engineering Academy 课时。 这是第 1 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 AI Engineering Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 AI Engineering Academy 课程共包含 4 节课。
文本预测的起源
在 ChatGPT 之前，计算机通过统计哪些词通常跟在其他词后面来猜测下一个词——这就是n 元语法模型。速度很快，但并不真正理解内容。
循环网络登场
接下来出现了循环神经网络（RNN）：它们逐词读取文本，并记住之前出现过的内容。它们比单纯计数更智能，但处理长文本时速度慢，也容易遗忘。
2017 年的 Transformer 革命
2017 年，Google 的Transformer让模型能够同时查看所有词语，而不是一次处理一个词。这开启了大规模、高速训练的可能，也几乎为今天所有的 LLM 提供了动力。🚀
GPT-1 到 GPT-3：规模定律
OpenAI 的 GPT 模型不断扩大——GPT-3 达到了 1750 亿个参数。当规模达到这一程度时，出现了令人惊讶的涌现能力，例如完成从未专门学过的数学运算。
ChatGPT 与 GPT-3 有何不同
未经调整的 GPT-3 经常不理会您的要求，或者漫无边际地输出。RLHF通过让人类为答案评分解决了这个问题，教会模型遵循指令——ChatGPT 就此诞生。
聊天界面：用户体验上的突破
ChatGPT 真正神奇的地方在于聊天界面。它能记住对话内容，因此您只需与它交谈——数百万人也立刻学会了这样使用它。💬
LLM 与早期 NLP 方法的比较
过去的 NLP 为每项任务都需要训练一个新模型。LLM 是一种通用模型：只需使用普通指令，它就能翻译、总结、编写代码和聊天。
参数、权重与模型规模
参数是模型在训练过程中学会的数字，也就是模型的知识。参数越多，答案通常越智能，但运行每个请求的成本也越高。
预训练：从互联网中学习
LLM 在预训练过程中学习：它读取海量文本，并不断预测下一个词。通过这一项任务，它逐渐掌握语法、事实和推理能力。
ChatGPT 之后的人工智能格局
ChatGPT 之后，竞争开始加剧：Claude、Gemini、Llama 等模型纷纷出现。如今真正的问题已不是“人工智能能不能做到”，而是选择哪个模型，以及要付出什么成本、接受哪些取舍。
为什么人工智能工程师必须了解这段历史
了解这段历史会带来实际帮助。模型拒答，可能是RLHF设置的安全防护；自信满满的错误答案，可能源于训练数据的缺口。理解背后的原因，才能帮助您构建更好的系统。
快速检查
检验您对本课人工智能工程概念的理解。
课程回顾
回顾：n 元语法和 RNN最先出现，但存在局限；Transformer让模型能够扩展；RLHF则将未经调整的 GPT-3 变成了 ChatGPT。接下来：注意力机制究竟如何工作。✨
常见问题解答
「从自动补全到 ChatGPT」课时是免费的吗？
是的 — 「从自动补全到 ChatGPT」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 AI Engineering Academy 课程的其余内容，请升级到 CoddyKit PRO。 AI Engineering Academy 课程共包含 4 节课。
「从自动补全到 ChatGPT」这节课中我会学到什么？
追溯从基础文本预测到现代对话式人工智能的发展历程，理解大型语言模型与早期自然语言处理方法的区别。 你通过在浏览器中直接运行的动手代码来练习 AI Engineering Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 AI Engineering Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 AI Engineering Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 1 节课，共 4 节。
「从自动补全到 ChatGPT」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 AI Engineering Academy 课中编写并运行代码吗？
能。每节 AI Engineering Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 从自动补全到 ChatGPT
- 用通俗语言理解 Transformer 与注意力机制
- LLM 如何训练
- LLM 的能力与局限