การจำกัดอัตราและการจัดคิวคำขอปัญญาประดิษฐ์
เรียนรู้การปกป้องแบ็กเอนด์ของ AI SaaS จากการทำงานหนักเกินไปและค่าใช้จ่ายที่พุ่งสูง ด้วยการจำกัดอัตรา คิวคำขอ และการจัดการแรงดันย้อนกลับอย่างเหมาะสม
การจำกัดอัตราและการจัดคิวคำขอปัญญาประดิษฐ์ เป็นบทเรียน AI SaaS Builder ฟรีบน CoddyKit นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน AI SaaS Builder และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส AI SaaS Builder มีบทเรียนทั้งหมด 4 บทเรียน
เหตุใดจึงต้องจำกัดคำขอ AI
ปลายทาง AI ทำงานช้าและมีค่าใช้จ่ายสูง หากไม่มีขีดจำกัด ผู้ใช้เพียงไม่กี่คน (หรือข้อผิดพลาด) อาจ ใช้โควต้าของคุณจนหมด หรือทำให้บริการล่ม
- ควบคุมค่าใช้จ่าย
- ปกป้องเสถียรภาพ
- รับประกันความเป็นธรรม
พื้นฐานการจำกัดอัตรา
ขีดจำกัดอัตรา คือการกำหนดจำนวนคำขอสูงสุดที่ไคลเอนต์สามารถส่งได้ภายในช่วงเวลาหนึ่ง เช่น 60 คำขอต่อนาที
อัลกอริทึมถังโทเค็น
ถังโทเค็น จะเติมโทเค็นตามเวลา คำขอแต่ละรายการใช้โทเค็นหนึ่งรายการ เมื่อถังว่าง คำขอจะถูกปฏิเสธหรือต้องรอ
class TokenBucket:
def __init__(self, capacity, refill_per_sec):
self.capacity = capacity
self.tokens = capacity
self.refill = refill_per_sec
def allow(self):
if self.tokens >= 1:
self.tokens -= 1
return True
return Falseขีดจำกัดรายผู้ใช้กับขีดจำกัดรวม
ใช้ขีดจำกัด รายผู้ใช้ เพื่อความเป็นธรรม และใช้ขีดจำกัด รวม เพื่อปกป้องทั้งระบบและโควต้าจากผู้ให้บริการ
การส่งคืน 429
เมื่อไคลเอนต์ส่งคำขอเกินขีดจำกัด ให้ตอบกลับด้วย HTTP 429 คำขอมากเกินไป และส่วนหัว Retry-After
res.status(429)
.set('Retry-After', '30')
.json({ error: 'rate_limited' })เหตุใดจึงต้องเข้าคิวงานที่ใช้เวลานาน
การสร้างผลลัพธ์ AI อาจใช้เวลาหลายวินาที การคงการเชื่อมต่อ HTTP ไว้ทำให้ทรัพยากรถูกใช้โดยเปล่าประโยชน์ คิว ช่วยให้คุณรับงานไว้แล้วประมวลผลแบบอะซิงโครนัส
รูปแบบคิวงาน
รับคำขอ ใส่งานเข้าคิว แล้วส่งคืนรหัสงานทันที ผู้ปฏิบัติงานจะดึงงานและเรียกใช้ AI
POST /generate -> { jobId: 'abc123', status: 'queued' }
# worker processes job
GET /jobs/abc123 -> { status: 'done', result: ... }แรงดันย้อนกลับ
เมื่อคิวยาวเกินไป ให้ใช้ แรงดันย้อนกลับ โดยปฏิเสธงานใหม่ที่มีความสำคัญต่ำ หรือแจ้งผู้ใช้ถึงความล่าช้า แทนการปล่อยให้งานสะสมโดยไม่แจ้ง
ขีดจำกัดการทำงานพร้อมกันสำหรับผู้ปฏิบัติงาน
จำกัดจำนวนการเรียกใช้ AI ที่ทำงานพร้อมกัน เพื่อให้เป็นไปตามขีดจำกัดของผู้ให้บริการและรักษาความหน่วงให้คาดการณ์ได้
# worker config
MAX_CONCURRENT_AI_CALLS = 5การลองใหม่พร้อมการหน่วงแบบทวีคูณ
ผู้ให้บริการ AI อาจล้มเหลวหรือจำกัดอัตราคุณเป็นครั้งคราว ให้ลองใหม่เมื่อเกิดข้อผิดพลาดชั่วคราวด้วย การหน่วงแบบทวีคูณ แต่จำกัดจำนวนครั้งเพื่อป้องกันการวนซ้ำ
delay = base * (2 ** attempt) # 1s, 2s, 4s, 8s ...ความสามารถในการสังเกตระบบ
ติดตามความลึกของคิว อัตราการปฏิเสธ และความหน่วงเฉลี่ย ตัวชี้วัดจะบอกคุณว่าเมื่อใดควรเพิ่มผู้ปฏิบัติงานหรือเข้มงวดกับขีดจำกัดมากขึ้น
ตรวจสอบอย่างรวดเร็ว
ตรวจสอบความรู้ของคุณเกี่ยวกับการรองรับการขยายระบบ
ทบทวน
คุณได้เรียนรู้การปกป้องระบบส่วนหลังของ AI ด้วย การจำกัดอัตรา (ถังโทเค็น ขีดจำกัดรายผู้ใช้และขีดจำกัดรวม) การส่งคืนการตอบกลับ 429 การโอนงานที่ใช้เวลานานไปยัง คิวงาน การใช้แรงดันย้อนกลับและขีดจำกัดการทำงานพร้อมกัน การลองใหม่พร้อมการหน่วง และการตรวจสอบสุขภาพของคิว
เรียนรู้ AI SaaS Builder ด้วย AI tutor — ฟรี
เขียนและเรียกใช้โค้ดจริงในเบราว์เซอร์ของคุณ รับความช่วยเหลือทันทีจาก AI tutor 24/7 และเรียนรู้ต่อจากที่คุณหยุดบนเว็บหรือในแอป
- คอร์ส
- 12
- บทเรียน
- 47
คำถามที่พบบ่อย
บทเรียน “การจำกัดอัตราและการจัดคิวคำขอปัญญาประดิษฐ์” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “การจำกัดอัตราและการจัดคิวคำขอปัญญาประดิษฐ์” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส AI SaaS Builder ให้อัปเกรดเป็น CoddyKit PRO คอร์ส AI SaaS Builder มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “การจำกัดอัตราและการจัดคิวคำขอปัญญาประดิษฐ์”
เรียนรู้การปกป้องแบ็กเอนด์ของ AI SaaS จากการทำงานหนักเกินไปและค่าใช้จ่ายที่พุ่งสูง ด้วยการจำกัดอัตรา คิวคำขอ และการจัดการแรงดันย้อนกลับอย่างเหมาะสม คุณปฏิบัติ AI SaaS Builder ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน AI SaaS Builder หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน AI SaaS Builder บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน
บทเรียน “การจำกัดอัตราและการจัดคิวคำขอปัญญาประดิษฐ์” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน AI SaaS Builder นี้ได้ไหม
ได้ บทเรียน AI SaaS Builder ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- การออกแบบ RESTful API
- การจัดการฐานข้อมูลสำหรับ SaaS
- การยืนยันตัวตนและการกำหนดสิทธิ์ผู้ใช้
- การจำกัดอัตราและการจัดคิวคำขอปัญญาประดิษฐ์