0Pricing
AI Agents with LangChain & Autonomous Workflows · Урок

LangSmith для трассировки и мониторинга

Используйте LangSmith, чтобы получить представление о ходе рассуждений агента, использовании инструментов и общем процессе выполнения

«LangSmith для трассировки и мониторинга» — бесплатный урок AI Agents with LangChain & Autonomous Workflows на CoddyKit. Это урок 1 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения AI Agents with LangChain & Autonomous Workflows, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс AI Agents with LangChain & Autonomous Workflows содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

Seeing Inside Your Agent

When you build an AI agent, it often feels like a black box. You provide an input, and it gives an output, but what happens in between?

  • Did it understand your prompt correctly?
  • Which tools did it decide to use?
  • Why did it choose that particular action?

Understanding these internal workings is crucial for debugging and improving your agents.

Introducing LangSmith

LangSmith is a developer platform by LangChain, designed specifically for building, debugging, and evaluating Large Language Model (LLM) applications.

It provides the visibility you need to understand your agent's behavior, identify issues, and ensure it performs as expected.

Core Concepts: Traces & Runs

In LangSmith, two key concepts are Runs and Traces:

  • A Run represents a single execution of a component, like an LLM call, a tool invocation, or a chain step.
  • A Trace is a collection of related runs that together form a complete execution of your agent or application, showing the full sequence of events.

Imagine a trace as a detailed log of your agent's entire thought process and actions.

Setting Up LangSmith

To use LangSmith, you need to set a few environment variables:

  • LANGCHAIN_TRACING_V2=true: Enables LangSmith tracing.
  • LANGCHAIN_API_KEY: Your unique API key for authentication.
  • LANGCHAIN_PROJECT: A name for your project to group related traces.

You can get your API key from the LangSmith website after signing up.

Enabling Tracing in Code

Let's see how to enable tracing for a simple LangChain application. First, ensure you have your API key and project name set up.

import os
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

# Set these environment variables before running
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "YOUR_LANGSMITH_API_KEY"
os.environ["LANGCHAIN_PROJECT"] = "MyFirstLangSmithProject"

# Replace with your actual OpenAI API key
os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"

# Create a simple LLM chain
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)
prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a helpful assistant."),
    ("user", "{question}")
])
chain = prompt | llm

# Invoke the chain
response = chain.invoke({"question": "What is the capital of France?"})
print(response.content)

Viewing Your First Trace

After running the previous code, a trace will be sent to your LangSmith project. Navigate to the LangSmith UI (app.langsmith.com) and select your project.

You'll see a visual representation of the 'chain' execution, including:

  • The input to the prompt.
  • The LLM call itself.
  • The final output from the LLM.

Each step is a 'Run' within the 'Trace'.

Understanding Agent Thought Process

For more complex agents, LangSmith shines by showing the agent's thought process. You can see the sequence of:

  • Thought: The agent's reasoning.
  • Action: The tool it decided to use.
  • Action Input: The arguments passed to the tool.
  • Observation: The result returned by the tool.

This detailed breakdown helps you understand why an agent made certain decisions.

Monitoring Tool Usage

Agents often rely on various tools (e.g., search engines, calculators, custom APIs). LangSmith traces clearly show:

  • Which specific tools were called.
  • The exact inputs provided to each tool.
  • The outputs received from the tools.

This is invaluable for verifying that your agent is using tools correctly and for debugging when a tool returns an unexpected result.

Debugging with LangSmith Traces

Traces are your best friend for debugging. If your agent behaves unexpectedly:

  • Identify the exact step: Pinpoint where the incorrect logic or error occurred.
  • Inspect inputs/outputs: Check if the prompt received the expected input or if the tool returned the right output.
  • Review agent thoughts: Understand if the agent's reasoning led to a bad decision.

This visibility dramatically reduces debugging time compared to traditional print statements.

Check Your Knowledge

Which of the following is NOT a primary benefit of using LangSmith for AI agents?

Recap: Your Observability Ally

LangSmith is an essential tool for anyone building AI agents with LangChain. It transforms the black box of agent execution into a transparent, inspectable process.

By providing detailed traces of runs, agent thoughts, and tool usage, LangSmith empowers you to debug faster, understand your agents better, and build more robust and reliable AI applications.

Часто задаваемые вопросы

Урок «LangSmith для трассировки и мониторинга» бесплатный?

Да — полный текст урока «LangSmith для трассировки и мониторинга» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс AI Agents with LangChain & Autonomous Workflows, подпишись на CoddyKit PRO. Курс AI Agents with LangChain & Autonomous Workflows содержит 4 уроков всего.

Чему я научусь в уроке «LangSmith для трассировки и мониторинга»?

Используйте LangSmith, чтобы получить представление о ходе рассуждений агента, использовании инструментов и общем процессе выполнения Ты практикуешь AI Agents with LangChain & Autonomous Workflows с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать AI Agents with LangChain & Autonomous Workflows?

Предыдущий опыт не требуется. AI Agents with LangChain & Autonomous Workflows на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 1 из 4.

Сколько времени занимает урок «LangSmith для трассировки и мониторинга»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке AI Agents with LangChain & Autonomous Workflows?

Да. Каждый урок AI Agents with LangChain & Autonomous Workflows включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

  1. LangSmith для трассировки и мониторинга
  2. Отладка процессов рассуждения агентов
  3. Оценка производительности агентов
  4. Использование токенов и контроль расходов
← Назад к AI Agents with LangChain & Autonomous Workflows