MLOps Academy · درس

تتبّع استدعاءات LLM ومراقبتها

التقط الرموز وزمن الاستجابة والتكلفة لكل طلب.

تتبّع استدعاءات LLM ومراقبتها درس مجاني في MLOps Academy على CoddyKit. هذا هو الدرس 3 من أصل 4. يمكنك قراءة الدرس كاملاً أدناه مجاناً — ثم تمرن عليه مباشرة في المتصفح باستخدام محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7. هذا الدرس جزء من مسار التعلم في MLOps Academy، وتقدمك يتزامن عبر الويب وتطبيق CoddyKit. تتضمن دورة MLOps Academy 4 دروس في المجموع.

بعض أجزاء هذا الدرس لم تُترجم بعد وتظهر باللغة الإنجليزية.

You Cannot Fix What You Cannot See

An LLM app feels like a black box until you log what it does. Tracing records each call so you can debug, cost, and improve it later. 🔍

Capture the Request

For every call, log the final prompt, the model name, and key parameters. This request record lets you reproduce any answer exactly.

log.info({"model": "gpt-4o", "prompt": prompt, "temperature": 0.2})

Capture the Response

Save the generated text alongside the request. Together the input and output form one trace you can replay, score, or share with a teammate.

Record Token Usage

Each response reports tokens in and out. Logging tokens per call is how you attribute cost and spot prompts that quietly grew too large.

usage = response.usage
log.info({"in": usage.input_tokens, "out": usage.output_tokens})

Turn Tokens Into Cost

Multiply token counts by the price per token to get spend. Tracking cost per request keeps a runaway feature from surprising you on the bill.

cost = inp / 1e6 * 2.50 + out / 1e6 * 10.00

Measure Latency

Time each call from send to final token. Watching latency per request reveals slow prompts and tells you when streaming would help users.

start = time.perf_counter()
response = client.responses.create(...)
latency = time.perf_counter() - start

Spans Build a Trace

A real request may chain retrieval, the LLM, and a tool. Each step is a span, and nesting them into one trace shows where time and tokens go.

Tools Built for LLMs

Platforms like LangSmith, Langfuse, and Phoenix capture traces with one wrapper. A purpose-built observability tool beats parsing raw logs by hand.

from langfuse.openai import openai
response = openai.responses.create(model="gpt-4o", input=prompt)

Tag Traces With Metadata

Attach a user id, prompt version, and feature name to each trace. This metadata lets you slice metrics and find which segment is misbehaving.

Sample What You Cannot Store

At high volume, logging every full payload is costly. Sampling a fraction of traces keeps insight while controlling storage and privacy.

Dashboards and Alerts

Roll traces into dashboards for cost, latency, and error rate, then alert on spikes. Now production problems reach you before users complain.

Quick Check

Your monthly LLM bill jumped with no traffic change. Which logged value explains it fastest?

Recap

You can now trace LLM calls end to end: request, response, tokens, cost, latency, and spans, then watch them on dashboards. Eyes wide open! 🎉

الأسئلة الشائعة

هل درس «تتبّع استدعاءات LLM ومراقبتها» مجاني؟

نعم — نص درس «تتبّع استدعاءات LLM ومراقبتها» كامل متاح مجاناً هنا على الويب. لتمرينه بشكل تفاعلي (محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7) وفتح باقي دورة MLOps Academy، انتقل إلى CoddyKit PRO. تتضمن دورة MLOps Academy 4 دروس في المجموع.

ماذا ستتعلم في «تتبّع استدعاءات LLM ومراقبتها»؟

التقط الرموز وزمن الاستجابة والتكلفة لكل طلب. تتمرن على MLOps Academy مع أكواد عملية تشغلها مباشرة في المتصفح، ومدرس ذكاء اصطناعي متاح 24/7 يجيب على أسئلتك أثناء عملك.

هل أحتاج إلى خبرة سابقة لأبدأ MLOps Academy؟

لا تُشترط خبرة سابقة. MLOps Academy على CoddyKit منظم للمبتدئين حتى المتقدمين، لذا يمكنك البدء من هنا أو من البداية والتقدم بسرعتك الخاصة. هذا هو الدرس 3 من أصل 4.

كم من الوقت يستغرق درس «تتبّع استدعاءات LLM ومراقبتها»؟

معظم دروس CoddyKit تستغرق حوالي 5–10 دقائق. كل منها موجز وتفاعلي، لذا تحرز تقدماً مستمراً وتستأنف من حيث توقفت عبر الويب والتطبيق.

هل يمكنني كتابة وتشغيل أكواد في درس MLOps Academy هذا؟

نعم. كل درس في MLOps Academy يتضمن محرر أكواد مدمج، لذا تكتب وتشغل أكواداً حقيقية مباشرة في متصفحك وتحصل على تعليقات فورية من الذكاء الاصطناعي — بدون إعداد محلي.

جميع الدروس في هذه الدورة

← العودة إلى MLOps Academy