面向评估的智能体开发
在发布智能体前先编写评估——这是在不引入回归的情况下迭代的唯一方法。
面向评估的智能体开发 是 CoddyKit 上的免费 AI Agents 课时。 这是第 1 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 AI Agents 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 AI Agents 课程共包含 4 节课。
本课时的部分内容尚未翻译，以英文显示。
评测就是 AI 的测试
您不会在没有测试的情况下发布代码。同样的逻辑也适用于 LLM 智能体——没有评测，每次修改都像是在掷硬币。
评测驱动开发（EDD）意味着在发布修改之前（BEFORE）先编写评测。
EDD 循环
- 编写一个失败的评测：输入 + 预期行为
- 持续改进智能体，直到评测通过
- 将评测加入您的评测套件
- 每次修改时运行
评测什么
对于智能体，请在多个层级进行评测：
- 组件——检索器是否返回了正确的片段？
- 步骤——LLM 是否选择了正确的工具？
- 端到端——智能体是否生成了正确的最终答案？
评测数据
每一行评测数据至少包含：
eval_example = {
'input': 'What is our return policy?',
'expected_output': 'mentions 30-day window',
'expected_tool_calls': ['retrieve'],
'metadata': {'tags': ['policy', 'common']}
}
for k, v in eval_example.items():
print(f"{k}: {v}")
Run an Eval Suite
def run_evals(suite, agent):
results = []
for case in suite:
actual = agent.run(case['input'])
scores = [
score_correctness(actual, case['expected_output']),
score_tool_calls(actual.tool_calls, case['expected_tool_calls'])
]
results.append({'case': case, 'actual': actual, 'scores': scores})
return resultsCI 集成
每个 PR 都运行评测。如果质量低于阈值，则阻止合并：
# .github/workflows/evals.yml
on: pull_request
jobs:
evals:
runs-on: ubuntu-latest
steps:
- run: python -m evals.run --fail-below 0.85评测频率
- 组件评测——每个 PR
- 端到端评测——每个 PR（抽样）+ 每晚（完整）
- 生产环境追踪记录 -> 评测集——每周
生产环境到评测流水线
挖掘真实的追踪记录。不良结果会成为第二天的评测：
for trace in production_traces_with_thumbs_down():
add_to_eval_suite(trace.input, expected=trace.fixed_output_from_human)LangSmith / Langfuse 评测
这两个工具都内置了评测支持：数据集版本管理、评测函数和对比视图。
人工抽查
自动化评测会遗漏风格和细微差别。请定期人工阅读 20 条随机追踪记录——这样可以发现评测遗漏的问题。
反模式：评测集记忆
如果您不断调优智能体，直到它通过评测，但评测集很小，就会出现过拟合。请持续扩充评测集，并轮换测试集/训练集划分。
评测集维护
随着产品变化，评测也会发生偏移。为新功能添加案例；删除已移除功能对应的案例。
EDD 定义
评测驱动开发是什么意思？
回顾
对于严肃的智能体，评测驱动开发是不可或缺的。为每个层级编写评测，在 CI 中运行，并根据生产环境追踪记录持续扩充评测套件。
常见问题解答
「面向评估的智能体开发」课时是免费的吗？
是的 — 「面向评估的智能体开发」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 AI Agents 课程的其余内容，请升级到 CoddyKit PRO。 AI Agents 课程共包含 4 节课。
「面向评估的智能体开发」这节课中我会学到什么？
在发布智能体前先编写评估——这是在不引入回归的情况下迭代的唯一方法。 你通过在浏览器中直接运行的动手代码来练习 AI Agents，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 AI Agents 需要有经验吗？
无需任何先前经验。CoddyKit 上的 AI Agents 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 1 节课，共 4 节。
「面向评估的智能体开发」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 AI Agents 课中编写并运行代码吗？
能。每节 AI Agents 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。