แคชและจำกัดอัตราของระบบต้นทาง

โมเดลที่ทำงานเชิงรุกอาจเรียกเครื่องมือซ้ำแล้วซ้ำเล่า หากไม่มีตัวป้องกัน ก็อาจทำให้ฐานข้อมูลหรือ API เบื้องหลังทำงานหนักเกินไป ⚠️

แคชจะเก็บผลลัพธ์ล่าสุดไว้ เพื่อให้คำขอที่เหมือนกันทุกประการส่งผลลัพธ์ได้ทันที แทนที่จะเรียกบริการต้นทางซ้ำ

สร้างคีย์แคชจากอาร์กิวเมนต์ของเครื่องมือ เพื่อให้เมืองหรือรหัสเดียวกันนำคำตอบที่เก็บไว้อยู่แล้วกลับมาใช้ และข้อมูลใหม่จะดึงข้อมูลล่าสุด

กำหนดอายุการใช้งานเพื่อให้ข้อมูลในแคชหมดอายุ คำตอบที่ล้าสมัยจะถูกอัปเดต ทำให้ผลลัพธ์ทั้งรวดเร็วและเป็นปัจจุบันในระดับเหมาะสม

แคชการอ่านที่ให้ผลเหมือนเดิมเมื่อทำซ้ำได้ แต่อย่าแคชการกระทำที่มีผลข้างเคียง คุณคงไม่ต้องการให้การเขียนที่ถูกแคชข้ามการเปลี่ยนแปลงจริงไปอย่างเงียบ ๆ

ขีดจำกัดอัตราจะกำหนดว่าเครื่องมือทำงานได้บ่อยเพียงใด เพื่อไม่ให้โมเดลที่ทำงานผิดปกติส่งคำขอหลายพันรายการในช่วงเวลาสั้น ๆ

รูปแบบที่ใช้กันทั่วไปคือถังโทเค็น: การเรียกแต่ละครั้งใช้โทเค็นหนึ่งรายการ โทเค็นจะเติมกลับตามเวลา และเมื่อถังว่างก็ต้องรอ

กำหนดขีดจำกัดให้สอดคล้องกับโควตาของ API การอยู่ต่ำกว่าโควตาช่วยหลีกเลี่ยงการตอบกลับ 429 และป้องกันไม่ให้การเข้าถึงของคุณถูกจำกัด

หากบริการต้นทางตอบกลับ429 คำขอมากเกินไป ให้หยุดพักแล้วลองใหม่ภายหลังโดยเพิ่มช่วงรอ แทนที่จะส่งคำขอถล่มหนักขึ้น

Semaphoreจะจำกัดจำนวนการเรียกใช้งานที่เข้าถึงระบบเบื้องหลังพร้อมกัน ช่วยลดความรุนแรงของช่วงพุ่งสูง เพื่อไม่ให้บริการต้นทางรับภาระมากเกินไป

เมื่อคุณจำกัดอัตรา ให้บอกโมเดลอย่างตรงไปตรงมาว่าถูกจำกัดอัตรา เพื่อให้โมเดลรอหรือลองแนวทางอื่นได้

คุณปกป้องบริการต้นทางด้วยแคช รวมถึงการจำกัดอัตราและการผ่อนการเรียกใช้ ทำให้ระบบเบื้องหลังปลอดภัยจากการเรียกใช้ของโมเดลที่ทำงานผิดปกติ 🎯