AI Agents · 강의

에이전트 실행 시각화(Langfuse, LangSmith)

Langfuse 또는 LangSmith UI에서 추적 트리를 살펴보고 실패한 실행을 재현해보세요.

에이전트 실행 시각화(Langfuse, LangSmith)은(는) CoddyKit의 무료 AI Agents 강의입니다. 이것은 4개 중 4번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 AI Agents 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. AI Agents 강의에는 총 4개의 강의가 포함되어 있습니다.

이 강의의 일부는 아직 번역되지 않았으며 영어로 표시됩니다.

대표적인 두 도구

트레이싱을 직접 구축할 수도 있지만, 기본 기능만으로도 잘 작동하는 두 제품이 있습니다:

Langfuse — OSS이며 자체 호스팅 가능하고 프레임워크에 종속되지 않음
LangSmith — LangChain 팀이 만든 비공개 소스 제품

일부 작업 흐름에는 Helicone, Phoenix, Weights & Biases도 사용할 수 있습니다.

Langfuse 개요

Langfuse는 다음 기능을 제공합니다:

시간 정보가 포함된 트레이스 트리 보기
스팬별 입력과 출력
비용 및 토큰 집계
데이터 세트 및 평가 지원
프롬프트 버전 관리
OSS — Docker로 로컬 실행 가능

Langfuse Quick Start

# pip install langfuse openai
from langfuse.openai import openai

response = openai.chat.completions.create(
    model='gpt-4o-mini',
    messages=[{'role': 'user', 'content': 'Hi'}],
    name='greeting'   # span name
)
# Trace automatically appears in Langfuse UI

Langfuse에서 수동으로 스팬 만들기

도구 호출이나 사용자 지정 로직에는 다음과 같이 사용합니다:

from langfuse import Langfuse
lf = Langfuse()

trace = lf.trace(name='agent-run', user_id='u-42')
span = trace.span(name='search-tool', input={'query': 'shipping'})
results = search_kb('shipping')
span.end(output=results)

LangSmith Quick Start

# pip install langsmith
import os
os.environ['LANGCHAIN_TRACING_V2'] = 'true'
os.environ['LANGCHAIN_API_KEY'] = '...'

# Any LangChain code automatically logs to LangSmith
from langchain_openai import ChatOpenAI
llm = ChatOpenAI()
llm.invoke('Hello')
# Trace appears in https://smith.langchain.com

LangChain 없이 LangSmith 사용하기

@traceable 데코레이터를 사용하면 어떤 코드에서도 LangSmith를 사용할 수 있습니다:

from langsmith import traceable

@traceable
def ask_agent(query: str):
    # your custom agent code here
    return final_answer

UI에 표시되는 내용

상태(정상/오류)가 표시된 최근 트레이스 목록
트레이스 하나를 선택하면 표시되는 스팬 트리
스팬별 모델, 지연 시간, 토큰, 비용, 입력 및 출력
수정 사항을 적용하여 트레이스 재생

태그 지정 및 필터링

필터링할 수 있도록 트레이스에 태그를 추가합니다:

trace = lf.trace(name='agent-run', tags=['production', 'tenant:acme', 'tool:rag'])

사용자 피드백

최종 사용자의 좋아요/싫어요를 수집하여 트레이스에 연결합니다:

trace.score(name='user-rating', value=1)   # thumbs up
trace.score(name='user-rating', value=0)   # thumbs down

데이터 세트 및 재생

두 도구 모두 트레이스를 평가 데이터 세트로 변환할 수 있습니다. 문제가 발생한 실제 운영 트레이스 50개를 선택하여 데이터 세트로 저장한 다음, 새 프롬프트로 다시 실행해 비교합니다.

Self-Hosting Langfuse

# docker-compose with Postgres + Clickhouse
version: '3'
services:
  langfuse:
    image: langfuse/langfuse:latest
    ports: ['3000:3000']
    environment:
      DATABASE_URL: postgresql://...
      NEXTAUTH_SECRET: '...'
      SALT: '...'
# Then point LANGFUSE_HOST=http://localhost:3000

도구 비교

	Langfuse	LangSmith	Helicone
OSS	예	아니요	예
프레임워크	모두	LangChain 우선	모두
평가	예	예	기본 지원

자체 호스팅이 가능한가요?

이 트레이싱 도구 중 Docker로 자체 호스팅할 수 있는 것은 무엇일까요?

정리

트레이싱 도구를 사용하십시오. OSS 및 자체 호스팅이 필요하면 Langfuse를, LangChain과 긴밀하게 통합하려면 LangSmith를 선택합니다. 사용자 피드백을 수집하고, 실제 트레이스로 평가 데이터 세트를 구축합니다.

자주 묻는 질문

“에이전트 실행 시각화(Langfuse, LangSmith)” 강의는 무료인가요?

네 — “에이전트 실행 시각화(Langfuse, LangSmith)” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 AI Agents 강의 전체를 잠금 해제할 수 있습니다. AI Agents 강의에는 총 4개의 강의가 포함되어 있습니다.

“에이전트 실행 시각화(Langfuse, LangSmith)”에서 뭘 배우나요?

Langfuse 또는 LangSmith UI에서 추적 트리를 살펴보고 실패한 실행을 재현해보세요. 브라우저에서 직접 실행하는 실습 코드로 AI Agents을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.

AI Agents을(를) 시작하는 데 경험이 필요한가요?

사전 경험은 필요하지 않습니다. CoddyKit의 AI Agents은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 4번째 강의입니다.

“에이전트 실행 시각화(Langfuse, LangSmith)” 강의는 얼마나 걸리나요?

대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.

이 AI Agents 강의에서 코드를 작성하고 실행할 수 있나요?

네. 모든 AI Agents 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.

이 강의의 모든 강의

← AI Agents(으)로 돌아가기