LLM Apps in Production (RAG + Vector DB + Caching) · Ders

Hız Sınırlama ve Kötüye Kullanımı Önleme

Kötüye kullanımı önlemek, maliyetleri kontrol etmek ve hizmet kullanılabilirliğini korumak için hız sınırlarını ve diğer güvenlik önlemlerini yapılandırın.

Hız Sınırlama ve Kötüye Kullanımı Önleme, CoddyKit'te ücretsiz bir LLM Apps in Production (RAG + Vector DB + Caching) dersidir. Bu, 4 dersinin 2. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, LLM Apps in Production (RAG + Vector DB + Caching) öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. LLM Apps in Production (RAG + Vector DB + Caching) kursu toplamda 4 dersten oluşur.

Bu dersin bazı bölümleri henüz çevrilmemiş olup İngilizce olarak gösterilmektedir.

Intro to Rate Limiting

Imagine a popular restaurant. If everyone tries to order at once, the kitchen gets overwhelmed! Rate limiting is like the restaurant managing orders to ensure smooth service for everyone.

In the world of LLM applications, rate limiting controls how often a user or system can make requests to your API or the underlying LLM provider.

Why Rate Limit LLMs?

Rate limiting is crucial for LLM applications for several reasons:

Cost Control: LLM API calls often have a per-token or per-request cost. Uncontrolled usage can lead to unexpected high bills.
Abuse Prevention: Malicious actors might try to overwhelm your service with requests (DDoS) or exploit it for their own purposes.
Service Stability: Prevents a single user or a small group from monopolizing resources, ensuring fair access and consistent performance for all users.
API Compliance: LLM providers (like OpenAI) have their own rate limits, and you need to respect them to avoid being blocked.

Rate Limiting Strategies

There are a few common ways to implement rate limiting:

Fixed Window: Allows N requests within a fixed time window (e.g., 100 requests per minute). Simple, but can have burst issues at window edges.
Sliding Window: A more flexible approach that tracks requests over a rolling time window, reducing burstiness.
Token Bucket: A "bucket" fills with tokens at a constant rate. Each request consumes a token. If the bucket is empty, the request is denied. This allows for bursts up to the bucket's capacity.

Token Bucket Explained

The Token Bucket algorithm is popular because it allows for short bursts of activity while still enforcing an average rate.

Think of it like this:

You have a bucket with a maximum capacity.
Tokens are added to the bucket at a steady rate.
Each request "takes" a token from the bucket.
If no tokens are available, the request is rejected or queued.

This balances smooth average usage with flexibility for occasional spikes.

Simple Token Bucket in Python

Let's see a basic Python implementation of a token bucket. This example uses time to simulate token generation.

import time

class TokenBucket:
    def __init__(self, capacity, fill_rate):
        self.capacity = float(capacity)
        self.fill_rate = float(fill_rate) # tokens per second
        self.tokens = float(capacity)
        self.last_refill_time = time.time()

    def consume(self, tokens_needed=1):
        now = time.time()
        # Refill tokens
        self.tokens += (now - self.last_refill_time) * self.fill_rate
        self.tokens = min(self.tokens, self.capacity)
        self.last_refill_time = now

        if self.tokens >= tokens_needed:
            self.tokens -= tokens_needed
            return True # Request allowed
        return False # Request denied

# Example Usage
bucket = TokenBucket(capacity=5, fill_rate=1) # 5 tokens, 1 token/sec refill
print(f"Initial tokens: {bucket.tokens}")

for i in range(7):
    if bucket.consume():
        print(f"Request {i+1} ALLOWED. Tokens left: {bucket.tokens:.2f}")
    else:
        print(f"Request {i+1} DENIED. Tokens left: {bucket.tokens:.2f}")
    time.sleep(0.5) # Simulate some time passing

Advanced Rate Limiting

While the token bucket is powerful, real-world systems often need more:

Distributed Rate Limiting: For horizontally scaled applications, you need a shared state (e.g., Redis) to track limits across multiple servers.
Client-Side Throttling: Instructing clients to slow down using HTTP headers (like Retry-After) can reduce server load.
Burst Control: Some limits allow a higher "burst" rate for a short period before settling into a lower sustained rate.

These techniques help manage traffic more effectively in complex environments.

Input Validation & Sanitization

Beyond just limiting requests, preventing abuse involves securing the inputs to your LLM. Input validation ensures that user prompts conform to expected formats and lengths.

Sanitization removes or neutralizes potentially harmful characters or patterns. For LLM applications, this is crucial to mitigate prompt injection attacks, where users try to manipulate the LLM's behavior.

Detecting Malicious Patterns

Sophisticated abuse often goes beyond simple rate limit breaches. Techniques include:

Anomaly Detection: Identifying unusual patterns in user behavior (e.g., sudden spikes in requests from a new IP, repetitive non-sensical queries) that might indicate a bot or attack.
Content Filtering: Analyzing prompt content for banned keywords, sensitive information, or attempts at jailbreaking the LLM.
User Behavior Analytics: Building profiles of normal user behavior and flagging deviations.

These methods add an extra layer of security.

Monitoring Rate Limits

Setting up rate limits is only half the battle; you need to monitor them! Integrate logging and metrics into your rate-limiting logic.

Track how many requests are being allowed vs. denied.
Monitor the current token count in your buckets.
Set up alerts for when denial rates exceed a certain threshold or if specific users/IPs are consistently hitting limits.

This allows you to adjust limits, identify potential attacks, and ensure fair usage.

Rate Limiting Check

You've learned about rate limiting and abuse prevention. Let's test your understanding!

Recap & Next Steps

Great job! In this lesson, we explored the critical role of rate limiting and abuse prevention in LLM production systems.

We understood why rate limiting is essential for cost control, stability, and security.
We looked at common strategies like the token bucket algorithm and saw a simple Python example.
We also touched upon broader abuse prevention techniques like input validation and anomaly detection.

Implementing these measures makes your LLM applications more robust, secure, and cost-effective. Next, we'll dive into error handling and resilience patterns to make your applications even more fault-tolerant.

Sıkça Sorulan Sorular

“Hız Sınırlama ve Kötüye Kullanımı Önleme” dersi ücretsiz mi?

Evet — “Hız Sınırlama ve Kötüye Kullanımı Önleme” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve LLM Apps in Production (RAG + Vector DB + Caching) kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. LLM Apps in Production (RAG + Vector DB + Caching) kursu toplamda 4 dersten oluşur.

“Hız Sınırlama ve Kötüye Kullanımı Önleme” dersinde ne öğreneceğim?

Kötüye kullanımı önlemek, maliyetleri kontrol etmek ve hizmet kullanılabilirliğini korumak için hız sınırlarını ve diğer güvenlik önlemlerini yapılandırın. LLM Apps in Production (RAG + Vector DB + Caching) ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.

LLM Apps in Production (RAG + Vector DB + Caching) öğrenmeye başlamak için deneyim gerekli mi?

Önceden deneyim gerekmez. CoddyKit'te LLM Apps in Production (RAG + Vector DB + Caching), başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 2. dersidir.

“Hız Sınırlama ve Kötüye Kullanımı Önleme” dersi ne kadar sürer?

Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.

Bu LLM Apps in Production (RAG + Vector DB + Caching) dersinde kod yazıp çalıştırabilir miyim?

Evet. Her LLM Apps in Production (RAG + Vector DB + Caching) dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.

Bu kursun tüm dersleri

LLM API Anahtarlarını ve Hassas Verileri Güvence Altına Alma
Hız Sınırlama ve Kötüye Kullanımı Önleme
Hata Yönetimi ve Dayanıklılık Kalıpları
İstem Enjeksiyonlarına Karşı Savunma

← LLM Apps in Production (RAG + Vector DB + Caching) Sayfasına Dön