0Pricing
AI Agents · レッスン

エージェント実行の可視化（Langfuse、LangSmith）

LangfuseまたはLangSmithのUIでトレースツリーを調べ、失敗した実行を再生します。

「エージェント実行の可視化（Langfuse、LangSmith）」はCoddyKit上の無料AI Agentsレッスンです。 これはレッスン4/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはAI Agents学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 AI Agentsコースには全4レッスンが含まれています。

このレッスンの一部はまだ翻訳されておらず、英語で表示されています。

主要な2つのツール

トレーシングは自分で構築することもできますが、すぐに使える形で優れた機能を提供する製品が2つあります：

  • Langfuse — OSS、自己ホスト可能、フレームワーク非依存
  • LangSmith — クローズドソース、LangChainチームが提供

ほかにも、一部のワークフローではHelicone、Phoenix、Weights & Biasesがあります。

Langfuseの概要

Langfuseには次の機能があります：

  • タイミング付きのトレースツリービュー
  • スパンごとの入出力
  • コストとトークンの集計
  • データセットとevalのサポート
  • プロンプトのバージョン管理
  • OSS — Dockerでローカル実行可能

Langfuse Quick Start

# pip install langfuse openai
from langfuse.openai import openai

response = openai.chat.completions.create(
    model='gpt-4o-mini',
    messages=[{'role': 'user', 'content': 'Hi'}],
    name='greeting'   # span name
)
# Trace automatically appears in Langfuse UI

Langfuseで手動スパンを作成する

ツール呼び出しやカスタムロジックの場合：

from langfuse import Langfuse
lf = Langfuse()

trace = lf.trace(name='agent-run', user_id='u-42')
span = trace.span(name='search-tool', input={'query': 'shipping'})
results = search_kb('shipping')
span.end(output=results)

LangSmith Quick Start

# pip install langsmith
import os
os.environ['LANGCHAIN_TRACING_V2'] = 'true'
os.environ['LANGCHAIN_API_KEY'] = '...'

# Any LangChain code automatically logs to LangSmith
from langchain_openai import ChatOpenAI
llm = ChatOpenAI()
llm.invoke('Hello')
# Trace appears in https://smith.langchain.com

LangChainなしでLangSmithを使う

@traceableデコレーターを使えば、どのコードからでもLangSmithを利用できます：

from langsmith import traceable

@traceable
def ask_agent(query: str):
    # your custom agent code here
    return final_answer

UIに表示される内容

  • ステータス（ok/error）付きの最近のトレース一覧
  • 1つのトレース -> スパンのツリー
  • スパンごとのモデル、レイテンシ、トークン数、コスト、入出力
  • 編集を加えたトレースの再実行

タグ付けとフィルタリング

フィルタリングできるよう、トレースにタグを追加します：

trace = lf.trace(name='agent-run', tags=['production', 'tenant:acme', 'tool:rag'])

ユーザーフィードバック

エンドユーザーからの高評価・低評価を取得し、トレースに紐付けます：

trace.score(name='user-rating', value=1)   # thumbs up
trace.score(name='user-rating', value=0)   # thumbs down

データセットと再実行

どちらのツールでも、トレースをeval用データセットに変換できます。本番環境で問題が発生したトレースを50件選び、データセットとして保存して、新しいプロンプトで再実行して比較します。

Self-Hosting Langfuse

# docker-compose with Postgres + Clickhouse
version: '3'
services:
  langfuse:
    image: langfuse/langfuse:latest
    ports: ['3000:3000']
    environment:
      DATABASE_URL: postgresql://...
      NEXTAUTH_SECRET: '...'
      SALT: '...'
# Then point LANGFUSE_HOST=http://localhost:3000

ツールを比較する

LangfuseLangSmithHelicone
OSSYesNoYes
FrameworkAnyLangChain-firstAny
EvalYesYesBasic

自己ホストできるか

これらのトレーシングツールのうち、Dockerで自己ホストできるのはどれでしょうか？

まとめ

トレーシングツールを使います。OSSや自己ホストを重視するならLangfuse、LangChainとの緊密な統合を重視するならLangSmithが適しています。ユーザーフィードバックを取得し、実際のトレースからeval用データセットを構築します。

よくある質問

「エージェント実行の可視化（Langfuse、LangSmith）」レッスンは無料ですか？

はい。「エージェント実行の可視化（Langfuse、LangSmith）」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、AI Agentsコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 AI Agentsコースには全4レッスンが含まれています。

「エージェント実行の可視化（Langfuse、LangSmith）」で何を学びますか？

LangfuseまたはLangSmithのUIでトレースツリーを調べ、失敗した実行を再生します。 ブラウザで直接実行するハンズオンコードでAI Agentsを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

AI Agentsを始めるのに経験は必要ですか？

事前経験は必要ありません。CoddyKitのAI Agentsは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン4/4です。

「エージェント実行の可視化（Langfuse、LangSmith）」レッスンにはどのくらい時間がかかりますか？

ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このAI Agentsレッスンでコードを書いて実行できますか？

はい。すべてのAI Agentsレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

  1. エージェントにトレーシングが必要な理由
  2. ツール呼び出しと入出力のロギング
  3. ステップごとのレイテンシとコスト
  4. エージェント実行の可視化（Langfuse、LangSmith）
← AI Agentsに戻る