การจัดการการทำงานพร้อมกันและขีดจำกัดอัตรา
ทำให้บริการ RAG ในสภาพแวดล้อมจริงตอบสนองได้ดีภายใต้ภาระงานด้วยการเรียกแบบไม่พร้อมกัน การรวมชุดคำขอ การลองใหม่ และการควบคุมแรงดันย้อนกลับ
การจัดการการทำงานพร้อมกันและขีดจำกัดอัตรา เป็นบทเรียน LangChain / RAG / Vector DBs ฟรีบน CoddyKit นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน LangChain / RAG / Vector DBs และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส LangChain / RAG / Vector DBs มีบทเรียนทั้งหมด 4 บทเรียน
บางส่วนของบทเรียนนี้ยังไม่ได้รับการแปล และแสดงเป็นภาษาอังกฤษ
Load in Production
A live RAG service faces many simultaneous requests, each making embedding and LLM calls. Without care you hit rate limits, time out, or exhaust memory.
Synchronous Bottleneck
Blocking on each API call serializes work. While one request waits on the LLM, the server cannot serve others, wasting capacity.
Async I/O
Async lets a single worker handle many in-flight calls. While awaiting one response, the event loop serves other requests.
import asyncio
async def answer(q):
docs = await retriever.ainvoke(q)
return await chain.ainvoke({"q": q, "docs": docs})
results = asyncio.run(asyncio.gather(*[answer(q) for q in queries]))Batching Embeddings
Embedding APIs are far cheaper and faster per item when you send many texts in one request. Batch chunks instead of calling once per chunk.
vectors = embeddings.embed_documents(batch) # one call, many textsRespecting Rate Limits
Providers cap requests and tokens per minute. A limiter throttles outgoing calls so you stay under the cap and avoid 429 errors.
import asyncio
sem = asyncio.Semaphore(10) # max 10 concurrent calls
async def limited(q):
async with sem:
return await answer(q)Retry with Backoff
Transient errors and 429s should be retried with exponential backoff and jitter, not hammered immediately.
import time, random
def call_with_retry(fn, tries=5):
for i in range(tries):
try:
return fn()
except RateLimitError:
time.sleep((2 ** i) + random.random())
raise RuntimeError("exhausted retries")Idempotency on Retry
Retries can duplicate side effects. Make write operations idempotent using keys or upserts so a repeated call is harmless.
Backpressure
When the queue grows faster than you can serve it, apply backpressure: reject or shed new requests early rather than letting latency balloon for everyone.
Connection Pooling
Reuse HTTP connections and database clients across requests. Creating a new client per request wastes time on handshakes and can exhaust file descriptors.
Caching Hot Queries
Many users ask the same things. Cache embeddings and final answers for frequent queries to cut both latency and API cost dramatically.
key = hashlib.sha256(query.encode()).hexdigest()
if key in cache:
return cache[key]
ans = expensive_rag(query)
cache[key] = ansPutting It Together
Combine async handling, a concurrency semaphore, batched embeddings, retries with backoff, and caching. The service stays fast and stable as traffic scales.
Quick Check
Test your understanding of scaling RAG.
Recap
You learned to handle production load:
- Async for concurrent in-flight calls
- Batch embeddings; pool connections
- Throttle with a limiter; retry with backoff
- Apply backpressure and cache hot queries
เรียนรู้ LangChain / RAG / Vector DBs ด้วย AI tutor — ฟรี
เขียนและเรียกใช้โค้ดจริงในเบราว์เซอร์ของคุณ รับความช่วยเหลือทันทีจาก AI tutor 24/7 และเรียนรู้ต่อจากที่คุณหยุดบนเว็บหรือในแอป
- คอร์ส
- 12
- บทเรียน
- 48
คำถามที่พบบ่อย
บทเรียน “การจัดการการทำงานพร้อมกันและขีดจำกัดอัตรา” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “การจัดการการทำงานพร้อมกันและขีดจำกัดอัตรา” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส LangChain / RAG / Vector DBs ให้อัปเกรดเป็น CoddyKit PRO คอร์ส LangChain / RAG / Vector DBs มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “การจัดการการทำงานพร้อมกันและขีดจำกัดอัตรา”
ทำให้บริการ RAG ในสภาพแวดล้อมจริงตอบสนองได้ดีภายใต้ภาระงานด้วยการเรียกแบบไม่พร้อมกัน การรวมชุดคำขอ การลองใหม่ และการควบคุมแรงดันย้อนกลับ คุณปฏิบัติ LangChain / RAG / Vector DBs ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน LangChain / RAG / Vector DBs หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน LangChain / RAG / Vector DBs บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน
บทเรียน “การจัดการการทำงานพร้อมกันและขีดจำกัดอัตรา” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน LangChain / RAG / Vector DBs นี้ได้ไหม
ได้ บทเรียน LangChain / RAG / Vector DBs ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- การตรวจติดตามและการบันทึกการทำงานของแอปพลิเคชัน RAG
- การแคชและการเพิ่มประสิทธิภาพ
- กลยุทธ์การนำ RAG ไปใช้งานบนคลาวด์
- การจัดการการทำงานพร้อมกันและขีดจำกัดอัตรา