0Pricing
MLOps Academy · 课时

安全护栏与 RAG 评估

拦截不良输出并衡量检索质量

安全护栏与 RAG 评估 是 CoddyKit 上的免费 MLOps Academy 课时。 这是第 4 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 MLOps Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。

LLM 需要安全护栏

如果不加约束，模型可能泄露数据或偏离主题。安全护栏是围绕模型设置的检查机制，可以将输入和输出限制在安全范围内。🛡️

先验证输入

调用模型前，请检查用户消息中是否存在提示注入或被禁止的内容。输入护栏可以阻止不良请求到达 LLM。

也要检查输出

生成后，请扫描答案中是否存在有害内容、机密信息或错误格式。输出护栏会在用户看到不安全文本之前将其拦截或改写。

if contains_pii(answer):
    answer = "Sorry, I cannot share that."

强制执行结构

需要 JSON 时，请根据架构验证它，并在失败时重试。架构护栏可以将不稳定的自由文本转变为可靠、可解析的输出。

from pydantic import BaseModel
class Reply(BaseModel):
    answer: str
    confidence: float

安全护栏库

Guardrails AI 和 NeMo Guardrails 等工具集成了这些检查。使用库可以获得现成的验证器，无需手动编写每条规则。

现在认识 RAG

许多 LLM 应用会获取文档并将其提供给模型。这种RAG模式，即检索增强生成，可以让答案以您自己的数据为依据。

两个环节都可能出错

RAG 可能在检索环节或生成环节失败。因此，您需要分别评估检索器和答案，因为修复其中一个并不能解决另一个。

为检索评分

请确认获取的文本块是否确实包含答案。上下文召回率衡量正确的信息是否真正进入了提示。

为依据充分性评分

即使上下文良好，模型仍可能编造细节。忠实度检查答案中的每个断言是否都有检索文本作为依据。

为相关性评分

最后，请判断答案是否回应了所提出的问题。答案相关性可以在依据充分之外，进一步完善整体评估。

类似 RAGAS 的框架

RAGAS 会根据您的案例计算忠实度、上下文召回率和相关性。框架可以将模糊的 RAG 质量转化为能够长期跟踪的数字。

from ragas import evaluate
result = evaluate(dataset, metrics=[faithfulness, context_recall])

快速检查

您的 RAG 机器人回答得很自信，却编造了文档中没有的事实。哪个指标可以发现这一问题？

回顾

您为输入和输出添加了安全护栏，并学会了使用忠实度、上下文召回率和相关性评估 RAG。安全且有依据。您做到了！🎉

常见问题解答

「安全护栏与 RAG 评估」课时是免费的吗？

是的 — 「安全护栏与 RAG 评估」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 MLOps Academy 课程的其余内容，请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。

「安全护栏与 RAG 评估」这节课中我会学到什么？

拦截不良输出并衡量检索质量 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 MLOps Academy 需要有经验吗？

无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 4 节课，共 4 节。

「安全护栏与 RAG 评估」课时需要多长时间？

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。

我能在这节 MLOps Academy 课中编写并运行代码吗？

能。每节 MLOps Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

  1. LLMOps 与经典 MLOps 的区别
  2. 为提示词建立版本并评估输出
  3. 跟踪并监控 LLM 调用
  4. 安全护栏与 RAG 评估
← 返回 MLOps Academy