エージェントにトレーシングが必要な理由
エージェントは1回のリクエストで複数のLLM呼び出しやツール呼び出しを行います。トレースがなければ状況を把握できません。
「エージェントにトレーシングが必要な理由」はCoddyKit上の無料AI Agentsレッスンです。 これはレッスン1/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはAI Agents学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 AI Agentsコースには全4レッスンが含まれています。
このレッスンの一部はまだ翻訳されておらず、英語で表示されています。
エージェントはデバッグが難しい
1つのユーザーメッセージが、LLM呼び出し10回、ツール呼び出し5回、30秒のレイテンシーを引き起こすことがあります。問題が起きたときに「エージェントが変な回答をした」と言われても、何も分かりません。
トレーシングを使えば、実際に何が起きたのかを確認できます。
トレースで取得する情報
1つのユーザーリクエストについて、次の情報を取得します。
- すべてのLLM呼び出し:モデル、入力メッセージ、出力レスポンス、トークン数、レイテンシー
- すべてのツール呼び出し:名前、引数、結果、エラー
- すべてのステップの順序とタイミング
- 最終的にユーザーへ表示する回答
ログだけでは不十分
通常のログ(print文)では、トレースの構造が失われます。どのLLM呼び出しがどのユーザーリクエストに属するのか、また各ステップがツリー内でどうつながっているのかを判断できません。
構造化トレーシングツールを使えば、この問題を解決できます。
SpanとTrace
OpenTelemetryから借用した用語です。
- Trace — エージェントの実行全体(1つのユーザーリクエスト)
- Span — トレース内の1つのステップ(LLM呼び出し、ツール呼び出し、検索など)
- Spanには親があり、ツリーを形成します
A Concrete Trace Tree
Trace: user asks 'What is our return policy?'
|-- Span: retrieve_docs (12 ms)
|-- Span: llm_call_planner (820 ms)
| |-- tool_call: search_kb
|-- Span: tool_call: search_kb (340 ms)
|-- Span: llm_call_synthesise (1100 ms)
Total: 2.3 s, 8400 tokens, $0.012トレーシングがログに勝る理由
- ツリー構造によって親子関係が分かる
- タイミングのウォーターフォールで遅いステップが分かる
- トークン数とコストをトレース単位で集計できる
- リプレイ:新しいプロンプトでトレースを再実行し、変更をテストできる
トレーシングを追加するタイミング
初日から追加してください。開発中にトレーシングを行うと、チャットだけのデバッグでは気付けないバグが見つかります。本番インシデントの後に追加するのでは遅すぎます。
プライバシーとトレーシング
トレースにはユーザーデータが含まれます。ログと同じように扱ってください。
- エクスポート前にPIIをマスキングする
- 保存時に暗号化する
- 保持ポリシーを遵守する
トレーシングと評価
トレーシングは「この1回の実行で何が起きたか」を確認するものです。評価は「テストセットに対してエージェントがどの程度うまく動作するか」を確認するものです。両方が必要ですが、まずはトレーシングから始めます。確認できないものは評価できないからです。
トレーシングのコスト
トレーシングによってレイテンシーが1〜2%増加し、ストレージ使用量も増えます。やり取りの多いエージェントでは、すべてを記録するのではなく、サンプリングしてください(例:トレースの10%を完全に記録し、失敗は100%記録する)。
手動計装と自動計装
一部のフレームワーク(LangChain、LlamaIndex)は自動計装に対応しており、すぐにトレースを取得できます。カスタムコードでは、SpanヘルパーでLLM呼び出しとツール呼び出しをラップしてください。
ユーザー向けエラーに含めるトレースID
エージェントが失敗したときは、ユーザーにトレースIDを返します。
「問題が発生しました。参照ID:trace-9c4a... サポートにこのIDをお伝えください。」
サポート担当者はトレースを開いて、何が起きたのかを正確に確認できます。
トレーシングの理由
エージェントでは、通常のprintログより構造化トレーシングのほうが優れているのはなぜでしょうか。
まとめ
トレーシングは必須です。初日から組み込んでください。次のレッスンでは、何をログに記録し、どのツールを使うべきかを説明します。
AI チューターと学ぶ AI Agents — 無料
ブラウザでリアルコードを書いて実行し、24/7 の AI チューターから瞬時にサポートを受け、ウェブまたはアプリで続きから学習できます。
- コース
- 60
- レッスン
- 239
よくある質問
「エージェントにトレーシングが必要な理由」レッスンは無料ですか?
はい。「エージェントにトレーシングが必要な理由」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し(組み込みコードエディタと24時間対応のAIチューター)、AI Agentsコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 AI Agentsコースには全4レッスンが含まれています。
「エージェントにトレーシングが必要な理由」で何を学びますか?
エージェントは1回のリクエストで複数のLLM呼び出しやツール呼び出しを行います。トレースがなければ状況を把握できません。 ブラウザで直接実行するハンズオンコードでAI Agentsを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
AI Agentsを始めるのに経験は必要ですか?
事前経験は必要ありません。CoddyKitのAI Agentsは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン1/4です。
「エージェントにトレーシングが必要な理由」レッスンにはどのくらい時間がかかりますか?
ほとんどのCoddyKitレッスンは約5~10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このAI Agentsレッスンでコードを書いて実行できますか?
はい。すべてのAI Agentsレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- エージェントにトレーシングが必要な理由
- ツール呼び出しと入出力のロギング
- ステップごとのレイテンシとコスト
- エージェント実行の可視化(Langfuse、LangSmith)