AI Agents · 课时

可视化智能体运行过程（Langfuse、LangSmith）

进入 Langfuse 或 LangSmith 界面检查追踪树，并重放失败的运行过程。

可视化智能体运行过程（Langfuse、LangSmith） 是 CoddyKit 上的免费 AI Agents 课时。这是第 4 节课，共 4 节。你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。这是 AI Agents 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 AI Agents 课程共包含 4 节课。

本课时的部分内容尚未翻译，以英文显示。

两款主流工具

您可以自行构建 trace 系统，但有两款产品开箱即用地完成得很好：

Langfuse——OSS，可自行托管，与框架无关
LangSmith——闭源产品，来自 LangChain 团队

此外，还有适用于某些工作流的 Helicone、Phoenix 和 Weights & Biases。

Langfuse 概览

Langfuse 为您提供：

带计时信息的 trace 树视图
每个 span 的输入和输出
成本和令牌汇总
数据集和评估支持
提示词版本管理
OSS——可使用 Docker 在本地运行

Langfuse Quick Start

# pip install langfuse openai
from langfuse.openai import openai

response = openai.chat.completions.create(
    model='gpt-4o-mini',
    messages=[{'role': 'user', 'content': 'Hi'}],
    name='greeting'   # span name
)
# Trace automatically appears in Langfuse UI

在 Langfuse 中手动创建 span

对于工具调用或自定义逻辑：

from langfuse import Langfuse
lf = Langfuse()

trace = lf.trace(name='agent-run', user_id='u-42')
span = trace.span(name='search-tool', input={'query': 'shipping'})
results = search_kb('shipping')
span.end(output=results)

LangSmith Quick Start

# pip install langsmith
import os
os.environ['LANGCHAIN_TRACING_V2'] = 'true'
os.environ['LANGCHAIN_API_KEY'] = '...'

# Any LangChain code automatically logs to LangSmith
from langchain_openai import ChatOpenAI
llm = ChatOpenAI()
llm.invoke('Hello')
# Trace appears in https://smith.langchain.com

不使用 LangChain 的 LangSmith

您可以通过 @traceable 装饰器从任何代码中使用 LangSmith：

from langsmith import traceable

@traceable
def ask_agent(query: str):
    # your custom agent code here
    return final_answer

界面显示的内容

最近 trace 的列表及其状态（正常/错误）
单个 trace → span 树
每个 span：模型、延迟、令牌、成本、输入/输出
编辑后重放 trace

标记和筛选

为 trace 添加标签，以便进行筛选：

trace = lf.trace(name='agent-run', tags=['production', 'tenant:acme', 'tool:rag'])

用户反馈

收集终端用户的赞成/反对反馈，并将其附加到 trace：

trace.score(name='user-rating', value=1)   # thumbs up
trace.score(name='user-rating', value=0)   # thumbs down

数据集和重放

这两款工具都可以将 trace 转换为评估数据集。选择 50 个出现问题的生产环境 trace，将其保存为数据集，然后使用新提示词重新运行以进行比较。

Self-Hosting Langfuse

# docker-compose with Postgres + Clickhouse
version: '3'
services:
  langfuse:
    image: langfuse/langfuse:latest
    ports: ['3000:3000']
    environment:
      DATABASE_URL: postgresql://...
      NEXTAUTH_SECRET: '...'
      SALT: '...'
# Then point LANGFUSE_HOST=http://localhost:3000

比较工具

	Langfuse	LangSmith	Helicone
OSS	是	否	是
框架	任意	优先支持 LangChain	任意
评估	是	是	基础支持

可以自行托管吗？

这些 trace 工具中，哪些可以使用 Docker 自行托管？

回顾

使用 trace 工具——需要 OSS 或自行托管时选择 Langfuse，需要紧密集成 LangChain 时选择 LangSmith。收集用户反馈。根据真实 trace 构建用于评估的数据集。

常见问题解答

「可视化智能体运行过程（Langfuse、LangSmith）」课时是免费的吗？

是的 — 「可视化智能体运行过程（Langfuse、LangSmith）」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 AI Agents 课程的其余内容，请升级到 CoddyKit PRO。 AI Agents 课程共包含 4 节课。

「可视化智能体运行过程（Langfuse、LangSmith）」这节课中我会学到什么？

进入 Langfuse 或 LangSmith 界面检查追踪树，并重放失败的运行过程。你通过在浏览器中直接运行的动手代码来练习 AI Agents，全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 AI Agents 需要有经验吗？

无需任何先前经验。CoddyKit 上的 AI Agents 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。这是第 4 节课，共 4 节。

「可视化智能体运行过程（Langfuse、LangSmith）」课时需要多长时间？

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。

我能在这节 AI Agents 课中编写并运行代码吗？

能。每节 AI Agents 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

← 返回 AI Agents