LLMOps 与经典 MLOps 的区别
提示词、上下文和非确定性改变了整个方法
LLMOps 与经典 MLOps 的区别 是 CoddyKit 上的免费 MLOps Academy 课时。 这是第 1 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 MLOps Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。
MLOps 的新形态
您已经了解 MLOps。LLMOps是面向大型语言模型的同一套方法，其中提示和上下文与权重同样重要。🤖
您通常不需要训练
在经典机器学习中，您需要训练模型。而在 LLMOps 中，您通常通过 API 调用一个预训练模型，因此真正的工作转向提示设计和编排。
提示就是程序
同一个模型会因措辞不同而给出截然不同的答案。在这里，提示会成为一项一等工件，您可以像管理代码一样对它进行版本管理、测试和审查。
prompt = "Summarize this support ticket in one sentence:\n\n{ticket}"
response = client.responses.create(model="gpt-4o", input=prompt)输出具有非确定性
两次发送相同的提示，可能会得到不同的文本。这种非确定性意味着您无法像经典测试那样断言结果完全相等。
温度控制随机性
您可以调整温度，在创造力和一致性之间进行取舍。较低的值会带来更稳定的输出，从而让评估和调试容易得多。
response = client.responses.create(
model="gpt-4o", input=prompt, temperature=0.0)上下文是您的新特征
经典模型读取表格特征。LLM 应用会将文档和历史记录注入上下文窗口，因此上下文工程取代了特征工程。
评估变得模糊
您不能直接对自由文本计算准确率。LLMOps 依靠根据评分标准、参考答案，或充当评判者的另一个模型进行评分。
令牌就是金钱
每个请求都会根据输入和输出的令牌数计费。关注令牌用量会成为核心运维指标，因为成本会随流量直接增长。
usage = response.usage
print(usage.input_tokens, usage.output_tokens)延迟取决于模型
生成速度较慢，而且会随输出长度而变化。延迟取决于模型生成的令牌数量，因此流式传输响应可以让用户获得更好的体验。
安全性前置
LLM 可能产生幻觉或泄露数据。LLMOps 会将安全护栏作为标准层添加到输入和输出上，而不是事后补救。
循环不变，工具更新
部署、监控和改进仍然适用。变化的是工具链：提示注册表、追踪、评估和安全护栏加入了您熟悉的 MLOps 技术栈。
快速检查
您两次发送同一个提示，却得到两个不同的答案。这属于什么性质？
回顾
您了解了LLMOps如何将重点从训练转向提示、上下文、非确定性输出、令牌和安全性。生命周期相同，工具焕然一新。开局很棒！🎉
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「LLMOps 与经典 MLOps 的区别」课时是免费的吗？
是的 — 「LLMOps 与经典 MLOps 的区别」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 MLOps Academy 课程的其余内容，请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。
「LLMOps 与经典 MLOps 的区别」这节课中我会学到什么？
提示词、上下文和非确定性改变了整个方法 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 MLOps Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 1 节课，共 4 节。
「LLMOps 与经典 MLOps 的区别」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 MLOps Academy 课中编写并运行代码吗？
能。每节 MLOps Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- LLMOps 与经典 MLOps 的区别
- 为提示词建立版本并评估输出
- 跟踪并监控 LLM 调用
- 安全护栏与 RAG 评估