اختبار التحميل وتخطيط السعة
تعلّم محاكاة حركة مرور واقعية إلى تطبيق LLM، واكتشاف نقطة انهياره، وتخطيط السعة حتى يظل الإنتاج سريعًا وضمن الميزانية تحت الحمل.
اختبار التحميل وتخطيط السعة درس مجاني في LLM Apps in Production (RAG + Vector DB + Caching) على CoddyKit. هذا هو الدرس 4 من أصل 4. يمكنك قراءة الدرس كاملاً أدناه مجاناً — ثم تمرن عليه مباشرة في المتصفح باستخدام محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7. هذا الدرس جزء من مسار التعلم في LLM Apps in Production (RAG + Vector DB + Caching)، وتقدمك يتزامن عبر الويب وتطبيق CoddyKit. تتضمن دورة LLM Apps in Production (RAG + Vector DB + Caching) 4 دروس في المجموع.
بعض أجزاء هذا الدرس لم تُترجم بعد وتظهر باللغة الإنجليزية.
Why Load Test LLM Apps?
LLM apps behave differently under load than typical web services: token generation is slow, requests are long-lived, and upstream provider rate limits add a hard ceiling.
Load testing reveals how your system degrades before real users do.
Key Metrics
Track these under load:
- Throughput — requests or tokens per second
- Latency percentiles — p50, p95, p99
- Error rate — timeouts, 429s
- Time to first token for streaming
Open vs Closed Load Models
Two ways to generate load:
- Closed — fixed number of virtual users, each waits for a response before sending the next
- Open — requests arrive at a fixed rate regardless of responses
Open-model tests better expose queue buildup.
Realistic Workloads
Use realistic prompts. A test with tiny prompts hides cost; production prompts include long retrieved context. Sample real queries and vary input length to mimic actual token distributions.
Percentile Latency in Code
Averages lie; percentiles tell the truth about tail latency.
def percentile(values, p):
s = sorted(values)
idx = int(round((p/100) * (len(s)-1)))
return s[idx]
lat = [120, 130, 140, 900, 150]
print('p95 =', percentile(lat, 95))Finding the Breaking Point
Ramp the request rate gradually until latency or error rate crosses your SLO. That inflection point is your saturation capacity. Run below it in production with headroom.
Estimating Required Capacity
Use Little's Law: concurrency = arrival rate x average latency. Estimate how many concurrent slots you need for peak traffic.
def concurrency(rps, avg_latency_s):
return rps * avg_latency_s
print('Need', concurrency(50, 2.0), 'concurrent slots')Accounting for Provider Limits
Your effective capacity may be capped by the LLM provider's tokens-per-minute and requests-per-minute limits, not your servers. Plan around those quotas and request increases ahead of launches.
Headroom and Autoscaling
Run at a target utilization (often 60-70 percent) so spikes do not immediately saturate. Configure autoscaling on a leading signal like queue depth, since CPU is a poor proxy for LLM load.
Soak and Spike Tests
Beyond steady ramps, run:
- Soak — sustained load for hours to catch leaks
- Spike — sudden surge to test autoscaling reaction
From Test to Plan
Turn results into a capacity plan: peak rps, required concurrency, provider quota needs, scaling rules, and a cost estimate. Re-test after major changes since model and prompt changes shift the numbers.
Quick Check
Test your understanding of capacity planning.
Recap
You learned to load test LLM apps with realistic workloads, track latency percentiles and error rate, find the saturation point, and size capacity with Little's Law. Account for provider quotas, keep headroom, autoscale on queue depth, and run soak and spike tests.
الأسئلة الشائعة
هل درس «اختبار التحميل وتخطيط السعة» مجاني؟
نعم — نص درس «اختبار التحميل وتخطيط السعة» كامل متاح مجاناً هنا على الويب. لتمرينه بشكل تفاعلي (محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7) وفتح باقي دورة LLM Apps in Production (RAG + Vector DB + Caching)، انتقل إلى CoddyKit PRO. تتضمن دورة LLM Apps in Production (RAG + Vector DB + Caching) 4 دروس في المجموع.
ماذا ستتعلم في «اختبار التحميل وتخطيط السعة»؟
تعلّم محاكاة حركة مرور واقعية إلى تطبيق LLM، واكتشاف نقطة انهياره، وتخطيط السعة حتى يظل الإنتاج سريعًا وضمن الميزانية تحت الحمل. تتمرن على LLM Apps in Production (RAG + Vector DB + Caching) مع أكواد عملية تشغلها مباشرة في المتصفح، ومدرس ذكاء اصطناعي متاح 24/7 يجيب على أسئلتك أثناء عملك.
هل أحتاج إلى خبرة سابقة لأبدأ LLM Apps in Production (RAG + Vector DB + Caching)؟
لا تُشترط خبرة سابقة. LLM Apps in Production (RAG + Vector DB + Caching) على CoddyKit منظم للمبتدئين حتى المتقدمين، لذا يمكنك البدء من هنا أو من البداية والتقدم بسرعتك الخاصة. هذا هو الدرس 4 من أصل 4.
كم من الوقت يستغرق درس «اختبار التحميل وتخطيط السعة»؟
معظم دروس CoddyKit تستغرق حوالي 5–10 دقائق. كل منها موجز وتفاعلي، لذا تحرز تقدماً مستمراً وتستأنف من حيث توقفت عبر الويب والتطبيق.
هل يمكنني كتابة وتشغيل أكواد في درس LLM Apps in Production (RAG + Vector DB + Caching) هذا؟
نعم. كل درس في LLM Apps in Production (RAG + Vector DB + Caching) يتضمن محرر أكواد مدمج، لذا تكتب وتشغل أكواداً حقيقية مباشرة في متصفحك وتحصل على تعليقات فورية من الذكاء الاصطناعي — بدون إعداد محلي.
جميع الدروس في هذه الدورة
- التوسعة الأفقية لمكوّنات RAG
- قابلية الرصد: السجلات والمقاييس والتتبّع
- التنبيهات والاستجابة للحوادث في عمليات نماذج اللغة الكبيرة
- اختبار التحميل وتخطيط السعة