Pengujian Beban dan Perencanaan Kapasitas
Pelajari cara menyimulasikan lalu lintas realistis terhadap aplikasi LLM, menemukan titik batasnya, dan merencanakan kapasitas agar produksi tetap cepat serta sesuai anggaran saat menerima beban.
Pengujian Beban dan Perencanaan Kapasitas adalah pelajaran LLM Apps in Production (RAG + Vector DB + Caching) gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar LLM Apps in Production (RAG + Vector DB + Caching), dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus LLM Apps in Production (RAG + Vector DB + Caching) mencakup 4 pelajaran total.
Bagian dari pelajaran ini belum diterjemahkan dan ditampilkan dalam bahasa Inggris.
Why Load Test LLM Apps?
LLM apps behave differently under load than typical web services: token generation is slow, requests are long-lived, and upstream provider rate limits add a hard ceiling.
Load testing reveals how your system degrades before real users do.
Key Metrics
Track these under load:
- Throughput — requests or tokens per second
- Latency percentiles — p50, p95, p99
- Error rate — timeouts, 429s
- Time to first token for streaming
Open vs Closed Load Models
Two ways to generate load:
- Closed — fixed number of virtual users, each waits for a response before sending the next
- Open — requests arrive at a fixed rate regardless of responses
Open-model tests better expose queue buildup.
Realistic Workloads
Use realistic prompts. A test with tiny prompts hides cost; production prompts include long retrieved context. Sample real queries and vary input length to mimic actual token distributions.
Percentile Latency in Code
Averages lie; percentiles tell the truth about tail latency.
def percentile(values, p):
s = sorted(values)
idx = int(round((p/100) * (len(s)-1)))
return s[idx]
lat = [120, 130, 140, 900, 150]
print('p95 =', percentile(lat, 95))Finding the Breaking Point
Ramp the request rate gradually until latency or error rate crosses your SLO. That inflection point is your saturation capacity. Run below it in production with headroom.
Estimating Required Capacity
Use Little's Law: concurrency = arrival rate x average latency. Estimate how many concurrent slots you need for peak traffic.
def concurrency(rps, avg_latency_s):
return rps * avg_latency_s
print('Need', concurrency(50, 2.0), 'concurrent slots')Accounting for Provider Limits
Your effective capacity may be capped by the LLM provider's tokens-per-minute and requests-per-minute limits, not your servers. Plan around those quotas and request increases ahead of launches.
Headroom and Autoscaling
Run at a target utilization (often 60-70 percent) so spikes do not immediately saturate. Configure autoscaling on a leading signal like queue depth, since CPU is a poor proxy for LLM load.
Soak and Spike Tests
Beyond steady ramps, run:
- Soak — sustained load for hours to catch leaks
- Spike — sudden surge to test autoscaling reaction
From Test to Plan
Turn results into a capacity plan: peak rps, required concurrency, provider quota needs, scaling rules, and a cost estimate. Re-test after major changes since model and prompt changes shift the numbers.
Quick Check
Test your understanding of capacity planning.
Recap
You learned to load test LLM apps with realistic workloads, track latency percentiles and error rate, find the saturation point, and size capacity with Little's Law. Account for provider quotas, keep headroom, autoscale on queue depth, and run soak and spike tests.
Belajar LLM Apps in Production (RAG + Vector DB + Caching) dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 12
- Pelajaran
- 48
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Pengujian Beban dan Perencanaan Kapasitas” gratis?
Ya — teks lengkap “Pengujian Beban dan Perencanaan Kapasitas” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus LLM Apps in Production (RAG + Vector DB + Caching), upgrade ke CoddyKit PRO. Kursus LLM Apps in Production (RAG + Vector DB + Caching) mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Pengujian Beban dan Perencanaan Kapasitas”?
Pelajari cara menyimulasikan lalu lintas realistis terhadap aplikasi LLM, menemukan titik batasnya, dan merencanakan kapasitas agar produksi tetap cepat serta sesuai anggaran saat menerima beban. Kamu berlatih LLM Apps in Production (RAG + Vector DB + Caching) dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai LLM Apps in Production (RAG + Vector DB + Caching)?
Tidak diperlukan pengalaman sebelumnya. LLM Apps in Production (RAG + Vector DB + Caching) di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.
Berapa lama pelajaran “Pengujian Beban dan Perencanaan Kapasitas” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran LLM Apps in Production (RAG + Vector DB + Caching) ini?
Ya. Setiap pelajaran LLM Apps in Production (RAG + Vector DB + Caching) menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Penskalaan Horizontal Komponen RAG
- Observabilitas: Pencatatan, Metrik, Penelusuran
- Peringatan dan Respons Insiden untuk Operasional LLM
- Pengujian Beban dan Perencanaan Kapasitas