Yapay Zeka İsteklerinde Hız Sınırlama ve Kuyruklama
Hız sınırlama, istek kuyrukları ve kontrollü geri basınç kullanarak yapay zeka SaaS arka ucunuzu aşırı yükten ve kontrolden çıkan maliyetlerden korumayı öğrenin.
Yapay Zeka İsteklerinde Hız Sınırlama ve Kuyruklama, CoddyKit'te ücretsiz bir AI SaaS Builder dersidir. Bu, 4 dersinin 4. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, AI SaaS Builder öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. AI SaaS Builder kursu toplamda 4 dersten oluşur.
Yapay Zekâ İsteklerini Neden Sınırlamalısınız
Yapay zekâ uç noktaları yavaş ve pahalıdır. Sınırlar olmadan birkaç kullanıcı (veya bir hata) bütçenizi tüketebilir ya da hizmeti çökertebilir.
- Maliyeti denetleyin
- Kararlılığı koruyun
- Adaleti sağlayın
İstek Hızı Sınırlamanın Temelleri
Bir istek hızı sınırı, bir istemcinin belirli bir zaman aralığında gönderebileceği istek sayısını sınırlar; örneğin dakikada 60 istek.
Token Bucket Algoritması
Token Bucket zaman içinde token'ları yeniler. Her istek bir token harcar; kovanın boş olması, isteğin reddedileceği veya bekletileceği anlamına gelir.
class TokenBucket:
def __init__(self, capacity, refill_per_sec):
self.capacity = capacity
self.tokens = capacity
self.refill = refill_per_sec
def allow(self):
if self.tokens >= 1:
self.tokens -= 1
return True
return FalseKullanıcı Başına ve Genel Sınırlar
Adaleti sağlamak için kullanıcı başına sınırlar, tüm sistemi ve sağlayıcınızın kotasını korumak için de genel bir sınır uygulayın.
429 Döndürme
Bir istemci sınırı aştığında HTTP 429 Too Many Requests yanıtını ve bir Retry-After başlığını döndürün.
res.status(429)
.set('Retry-After', '30')
.json({ error: 'rate_limited' })Uzun İşleri Neden Kuyruğa Almalısınız
Yapay zekâ üretimi birçok saniye sürebilir. HTTP bağlantısını açık tutmak kaynakları boşa harcar. Bir kuyruk, işi kabul etmenize ve eşzamansız olarak işlemenize olanak tanır.
İş Kuyruğu Örüntüsü
İsteği kabul edin, bir işi kuyruğa ekleyin ve iş kimliğini hemen döndürün. Çalışanlar işleri alır ve yapay zekâ çağrısını gerçekleştirir.
POST /generate -> { jobId: 'abc123', status: 'queued' }
# worker processes job
GET /jobs/abc123 -> { status: 'done', result: ... }Geri Basınç
Kuyruk çok uzadığında geri basınç uygulayın: yeni düşük öncelikli işleri reddedin veya sessizce biriktirmek yerine kullanıcıları gecikmeler konusunda uyarın.
Çalışanlar İçin Eşzamanlılık Sınırları
Sağlayıcınızın sınırlarına uymak ve gecikmeyi öngörülebilir tutmak için aynı anda çalışabilecek yapay zekâ çağrılarının sayısını sınırlayın.
# worker config
MAX_CONCURRENT_AI_CALLS = 5Geri Üstel Beklemeyle Yeniden Denemeler
Yapay zekâ sağlayıcıları zaman zaman başarısız olur veya istek hızınızı sınırlar. Geçici hataları üstel beklemeyle yeniden deneyin, ancak döngüleri önlemek için deneme sayısını sınırlayın.
delay = base * (2 ** attempt) # 1s, 2s, 4s, 8s ...Gözlemlenebilirlik
Kuyruk derinliğini, reddetme oranını ve ortalama gecikmeyi izleyin. Ölçümler, çalışanları ne zaman ölçeklendirmeniz veya sınırları ne zaman sıkılaştırmanız gerektiğini gösterir.
Hızlı Kontrol
Ölçeklendirme bilginizi kontrol edin.
Özet
Bir yapay zekâ arka ucunu istek hızı sınırlamayla (token bucket, kullanıcı başına ve genel sınırlar) korumayı, 429 yanıtları döndürmeyi, yavaş işleri bir iş kuyruğuna aktarmayı, geri basınç ve eşzamanlılık sınırları uygulamayı, geri beklemeyle yeniden denemeyi ve kuyruk durumunu izlemeyi öğrendiniz.
Sıkça Sorulan Sorular
“Yapay Zeka İsteklerinde Hız Sınırlama ve Kuyruklama” dersi ücretsiz mi?
Evet — “Yapay Zeka İsteklerinde Hız Sınırlama ve Kuyruklama” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve AI SaaS Builder kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. AI SaaS Builder kursu toplamda 4 dersten oluşur.
“Yapay Zeka İsteklerinde Hız Sınırlama ve Kuyruklama” dersinde ne öğreneceğim?
Hız sınırlama, istek kuyrukları ve kontrollü geri basınç kullanarak yapay zeka SaaS arka ucunuzu aşırı yükten ve kontrolden çıkan maliyetlerden korumayı öğrenin. AI SaaS Builder ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
AI SaaS Builder öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te AI SaaS Builder, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 4. dersidir.
“Yapay Zeka İsteklerinde Hız Sınırlama ve Kuyruklama” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu AI SaaS Builder dersinde kod yazıp çalıştırabilir miyim?
Evet. Her AI SaaS Builder dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- RESTful API'ler Tasarlama
- SaaS için Veritabanı Yönetimi
- Kullanıcı Kimlik Doğrulama ve Yetkilendirme
- Yapay Zeka İsteklerinde Hız Sınırlama ve Kuyruklama