AI Agents · レッスン

エージェントにトレーシングが必要な理由

エージェントは1回のリクエストで複数のLLM呼び出しやツール呼び出しを行います。トレースがなければ状況を把握できません。

レッスン 1/414 ステップ

「エージェントにトレーシングが必要な理由」はCoddyKit上の無料AI Agentsレッスンです。 これはレッスン1/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはAI Agents学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 AI Agentsコースには全4レッスンが含まれています。

このレッスンの一部はまだ翻訳されておらず、英語で表示されています。

エージェントはデバッグが難しい

1つのユーザーメッセージが、LLM呼び出し10回、ツール呼び出し5回、30秒のレイテンシーを引き起こすことがあります。問題が起きたときに「エージェントが変な回答をした」と言われても、何も分かりません。

トレーシングを使えば、実際に何が起きたのかを確認できます。

トレースで取得する情報

1つのユーザーリクエストについて、次の情報を取得します。

  • すべてのLLM呼び出し:モデル、入力メッセージ、出力レスポンス、トークン数、レイテンシー
  • すべてのツール呼び出し:名前、引数、結果、エラー
  • すべてのステップの順序とタイミング
  • 最終的にユーザーへ表示する回答

ログだけでは不十分

通常のログ(print文)では、トレースの構造が失われます。どのLLM呼び出しがどのユーザーリクエストに属するのか、また各ステップがツリー内でどうつながっているのかを判断できません。

構造化トレーシングツールを使えば、この問題を解決できます。

SpanとTrace

OpenTelemetryから借用した用語です。

  • Trace — エージェントの実行全体(1つのユーザーリクエスト)
  • Span — トレース内の1つのステップ(LLM呼び出し、ツール呼び出し、検索など)
  • Spanには親があり、ツリーを形成します

A Concrete Trace Tree

Trace: user asks 'What is our return policy?'
|-- Span: retrieve_docs (12 ms)
|-- Span: llm_call_planner (820 ms)
|   |-- tool_call: search_kb
|-- Span: tool_call: search_kb (340 ms)
|-- Span: llm_call_synthesise (1100 ms)
Total: 2.3 s, 8400 tokens, $0.012

トレーシングがログに勝る理由

  • ツリー構造によって親子関係が分かる
  • タイミングのウォーターフォールで遅いステップが分かる
  • トークン数とコストをトレース単位で集計できる
  • リプレイ:新しいプロンプトでトレースを再実行し、変更をテストできる

トレーシングを追加するタイミング

初日から追加してください。開発中にトレーシングを行うと、チャットだけのデバッグでは気付けないバグが見つかります。本番インシデントの後に追加するのでは遅すぎます。

プライバシーとトレーシング

トレースにはユーザーデータが含まれます。ログと同じように扱ってください。

  • エクスポート前にPIIをマスキングする
  • 保存時に暗号化する
  • 保持ポリシーを遵守する

トレーシングと評価

トレーシングは「この1回の実行で何が起きたか」を確認するものです。評価は「テストセットに対してエージェントがどの程度うまく動作するか」を確認するものです。両方が必要ですが、まずはトレーシングから始めます。確認できないものは評価できないからです。

トレーシングのコスト

トレーシングによってレイテンシーが1〜2%増加し、ストレージ使用量も増えます。やり取りの多いエージェントでは、すべてを記録するのではなく、サンプリングしてください(例:トレースの10%を完全に記録し、失敗は100%記録する)。

手動計装と自動計装

一部のフレームワーク(LangChain、LlamaIndex)は自動計装に対応しており、すぐにトレースを取得できます。カスタムコードでは、SpanヘルパーでLLM呼び出しとツール呼び出しをラップしてください。

ユーザー向けエラーに含めるトレースID

エージェントが失敗したときは、ユーザーにトレースIDを返します。

「問題が発生しました。参照ID:trace-9c4a... サポートにこのIDをお伝えください。」

サポート担当者はトレースを開いて、何が起きたのかを正確に確認できます。

トレーシングの理由

エージェントでは、通常のprintログより構造化トレーシングのほうが優れているのはなぜでしょうか。

まとめ

トレーシングは必須です。初日から組み込んでください。次のレッスンでは、何をログに記録し、どのツールを使うべきかを説明します。

無料で開始

AI チューターと学ぶ AI Agents — 無料

ブラウザでリアルコードを書いて実行し、24/7 の AI チューターから瞬時にサポートを受け、ウェブまたはアプリで続きから学習できます。

コース
60
レッスン
239

よくある質問

「エージェントにトレーシングが必要な理由」レッスンは無料ですか?

はい。「エージェントにトレーシングが必要な理由」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し(組み込みコードエディタと24時間対応のAIチューター)、AI Agentsコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 AI Agentsコースには全4レッスンが含まれています。

「エージェントにトレーシングが必要な理由」で何を学びますか?

エージェントは1回のリクエストで複数のLLM呼び出しやツール呼び出しを行います。トレースがなければ状況を把握できません。 ブラウザで直接実行するハンズオンコードでAI Agentsを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

AI Agentsを始めるのに経験は必要ですか?

事前経験は必要ありません。CoddyKitのAI Agentsは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン1/4です。

「エージェントにトレーシングが必要な理由」レッスンにはどのくらい時間がかかりますか?

ほとんどのCoddyKitレッスンは約5~10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このAI Agentsレッスンでコードを書いて実行できますか?

はい。すべてのAI Agentsレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

  1. エージェントにトレーシングが必要な理由
  2. ツール呼び出しと入出力のロギング
  3. ステップごとのレイテンシとコスト
  4. エージェント実行の可視化(Langfuse、LangSmith)
← AI Agentsに戻る