Rastreie e monitore chamadas de LLM
Capture tokens, latência e custo por requisição.
Rastreie e monitore chamadas de LLM é uma aula grátis de MLOps Academy no CoddyKit. Esta é a aula 3 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de MLOps Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de MLOps Academy inclui 4 aulas no total.
Partes desta aula ainda não foram traduzidas e aparecem em inglês.
You Cannot Fix What You Cannot See
An LLM app feels like a black box until you log what it does. Tracing records each call so you can debug, cost, and improve it later. 🔍
Capture the Request
For every call, log the final prompt, the model name, and key parameters. This request record lets you reproduce any answer exactly.
log.info({"model": "gpt-4o", "prompt": prompt, "temperature": 0.2})Capture the Response
Save the generated text alongside the request. Together the input and output form one trace you can replay, score, or share with a teammate.
Record Token Usage
Each response reports tokens in and out. Logging tokens per call is how you attribute cost and spot prompts that quietly grew too large.
usage = response.usage
log.info({"in": usage.input_tokens, "out": usage.output_tokens})Turn Tokens Into Cost
Multiply token counts by the price per token to get spend. Tracking cost per request keeps a runaway feature from surprising you on the bill.
cost = inp / 1e6 * 2.50 + out / 1e6 * 10.00Measure Latency
Time each call from send to final token. Watching latency per request reveals slow prompts and tells you when streaming would help users.
start = time.perf_counter()
response = client.responses.create(...)
latency = time.perf_counter() - startSpans Build a Trace
A real request may chain retrieval, the LLM, and a tool. Each step is a span, and nesting them into one trace shows where time and tokens go.
Tools Built for LLMs
Platforms like LangSmith, Langfuse, and Phoenix capture traces with one wrapper. A purpose-built observability tool beats parsing raw logs by hand.
from langfuse.openai import openai
response = openai.responses.create(model="gpt-4o", input=prompt)Tag Traces With Metadata
Attach a user id, prompt version, and feature name to each trace. This metadata lets you slice metrics and find which segment is misbehaving.
Sample What You Cannot Store
At high volume, logging every full payload is costly. Sampling a fraction of traces keeps insight while controlling storage and privacy.
Dashboards and Alerts
Roll traces into dashboards for cost, latency, and error rate, then alert on spikes. Now production problems reach you before users complain.
Quick Check
Your monthly LLM bill jumped with no traffic change. Which logged value explains it fastest?
Recap
You can now trace LLM calls end to end: request, response, tokens, cost, latency, and spans, then watch them on dashboards. Eyes wide open! 🎉
Perguntas Frequentes
A aula “Rastreie e monitore chamadas de LLM” é grátis?
Sim — o texto completo de “Rastreie e monitore chamadas de LLM” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de MLOps Academy, atualize para CoddyKit PRO. O curso de MLOps Academy inclui 4 aulas no total.
O que vou aprender em “Rastreie e monitore chamadas de LLM”?
Capture tokens, latência e custo por requisição. Você pratica MLOps Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar MLOps Academy?
Nenhuma experiência prévia é necessária. MLOps Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 3 de 4.
Quanto tempo leva a aula “Rastreie e monitore chamadas de LLM”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de MLOps Academy?
Sim. Cada aula de MLOps Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Como LLMOps difere do MLOps clássico
- Versione prompts e avalie saídas
- Rastreie e monitore chamadas de LLM
- Barreiras de segurança e avaliação de RAG