AI Agents · 课时

数据收集：轨迹与跟踪回放

Q: 「数据收集：轨迹与跟踪回放」这节课中我会学到什么？

回放成功的代理轨迹，构建由（状态、操作）对组成的训练集。 你通过在浏览器中直接运行的动手代码来练习 AI Agents，全天候 AI 导师会在你学习这节课的过程中回答你的问题。

回放成功的代理轨迹，构建由（状态、操作）对组成的训练集。

数据收集：轨迹与跟踪回放 是 CoddyKit 上的免费 AI Agents 课时。这是第 2 节课，共 4 节。你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。这是 AI Agents 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 AI Agents 课程共包含 4 节课。

数据就是产品

微调中，建模只占 10%，数据占 90%。最大的质量提升来自更好的数据集，而不是更大的模型。

智能体轨迹的样子

一条轨迹记录一次完整的智能体运行过程：

trajectory = {
    'task': 'Refactor the auth module',
    'messages': [
        {'role': 'system', 'content': '...'},
        {'role': 'user', 'content': 'Task...'},
        {'role': 'assistant', 'content': 'Plan...', 'tool_calls': [...]},
        {'role': 'tool', 'content': '...'},
        ...
    ],
    'outcome': 'success'
}

挖掘生产环境轨迹

最佳数据来源是真实使用情况：

for trace in production_traces:
    if trace.outcome == 'success' and trace.user_feedback == 'thumbs_up':
        save_to_training_set(trace)

轨迹回放

回放一条成功的轨迹，以验证可复现性，并将其用作训练示例：

def replay(trace):
    messages = trace.messages[:1]   # just the initial user msg
    for expected_msg in trace.messages[1:]:
        actual = agent.step(messages)
        if actual.role == 'assistant':
            messages.append(actual)
        elif expected_msg.role == 'tool':
            messages.append(expected_msg)   # replay tool result

筛选高质量轨迹

结果是成功的（测试通过，用户满意）
轨迹较短（没有反复尝试）
工具调用合理
没有触发安全警报

从大型模型进行蒸馏

使用强大的模型（GPT-4o）为调优目标模型（Llama 8B）生成轨迹：

for task in task_list:
    traj = big_model_agent.run(task)
    if traj.success:
        save_for_training(traj)

# Now fine-tune Llama 8B on the GPT-4o traces.

清除不良轨迹

一个不良示例就可能污染训练。请进行严格筛选：

删除包含错误的轨迹
删除包含工具幻觉的轨迹
删除工具调用次数超过 N 的轨迹
删除与策略相矛盾的轨迹

微调格式

OpenAI 需要包含消息的 JSONL：

{"messages": [{"role": "system", "content": "..."}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}
{"messages": [...]}

训练数据中的工具调用

包含工具调用和工具消息——让模型学习完整的智能体循环：

{
  "messages": [
    {"role": "user", "content": "Weather in Paris?"},
    {"role": "assistant", "tool_calls": [{...}]},
    {"role": "tool", "tool_call_id": "...", "content": "{...}"},
    {"role": "assistant", "content": "It is 18C and sunny."}
  ]
}

负面示例

一些训练方法（DPO、KTO）也能从 BAD 示例中获益：

preferences = [
    {'prompt': '...', 'chosen': good_response, 'rejected': bad_response}
]

数据集规模计算器

不同训练方法所需的大致数据量：

用于格式的 SFT：500-2000
用于新能力的 SFT：5k-50k
DPO：1k-10k 个偏好对
RLHF / RLAIF：10k-100k+

为数据集进行版本管理

像对待代码一样对待数据集。为它进行版本管理；跟踪包含了哪些轨迹；确保构建可复现。

人在回路中的整理

最佳数据集都要经过人工审核队列。Argilla、Label Studio 和 Snorkel 等工具可以提高这一过程的效率。

最佳轨迹来源

训练轨迹中信号最强的来源是什么？

回顾

来自真实成功运行的轨迹是黄金数据。必要时从强大的模型中进行蒸馏。严格筛选。为数据集进行版本管理。

常见问题解答

「数据收集：轨迹与跟踪回放」课时是免费的吗？

是的 — 「数据收集：轨迹与跟踪回放」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 AI Agents 课程的其余内容，请升级到 CoddyKit PRO。 AI Agents 课程共包含 4 节课。

「数据收集：轨迹与跟踪回放」这节课中我会学到什么？

回放成功的代理轨迹，构建由（状态、操作）对组成的训练集。你通过在浏览器中直接运行的动手代码来练习 AI Agents，全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 AI Agents 需要有经验吗？

无需任何先前经验。CoddyKit 上的 AI Agents 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。这是第 2 节课，共 4 节。

「数据收集：轨迹与跟踪回放」课时需要多长时间？

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。

我能在这节 AI Agents 课中编写并运行代码吗？

能。每节 AI Agents 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

← 返回 AI Agents