0Pricing
AI Agents with LangChain & Autonomous Workflows · Lekcja

Ograniczanie częstotliwości żądań i zarządzanie limitami API

Chroń agentów produkcyjnych przed limitami dostawców i niekontrolowanym wzrostem kosztów, ograniczając tempo żądań, ponawiając je z exponential backoffem i zarządzając limitami na użytkownika.

Ograniczanie częstotliwości żądań i zarządzanie limitami API to bezpłatna lekcja AI Agents with LangChain & Autonomous Workflows na CoddyKit. To lekcja 4 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej AI Agents with LangChain & Autonomous Workflows, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs AI Agents with LangChain & Autonomous Workflows zawiera 4 lekcji w sumie.

Części tej lekcji nie zostały jeszcze przetłumaczone i są wyświetlane po angielsku.

The Limits You Face

LLM providers cap usage in two ways:

  • Requests per minute (RPM)
  • Tokens per minute (TPM)

Exceed them and calls return 429 Too Many Requests, breaking your agents under load.

Why Throttle Proactively

Waiting for 429s and retrying is wasteful. Proactive rate limiting spaces out requests so you stay under the cap, smoothing traffic and avoiding errors entirely.

Client-Side Rate Limiter

LangChain can throttle model calls with a built-in rate limiter that releases a fixed number of requests per second.

from langchain_core.rate_limiters import InMemoryRateLimiter

limiter = InMemoryRateLimiter(
    requests_per_second=2,
    max_bucket_size=5
)

Attaching It to the Model

Pass the limiter to the chat model. Every call now waits its turn automatically.

llm = ChatOpenAI(
    model='gpt-4o-mini',
    rate_limiter=limiter
)

Retry with Exponential Backoff

Some 429s and transient errors are unavoidable. Retry with growing delays so you do not hammer the provider.

llm_with_retry = llm.with_retry(
    stop_after_attempt=5
)

Respecting Retry-After

Providers often return a Retry-After header telling you how long to wait. Honoring it is more polite and effective than a fixed delay.

wait = int(response.headers.get('Retry-After', '1'))

Per-User Quotas

Beyond provider limits, you set your own per-user quotas to control cost and fairness. Track usage in a store like Redis and reject or queue once a user exceeds their allowance.

used = redis.incr(f'quota:{user_id}')
if used > DAILY_LIMIT:
    raise QuotaExceeded()

Token Bucket Algorithm

The common pattern is a token bucket: tokens refill at a steady rate, each request consumes one, and an empty bucket means wait. It allows short bursts while enforcing an average rate.

Queuing Under Load

When demand spikes past your limits, queue requests instead of dropping them. A background worker drains the queue at a safe rate, keeping the system stable.

Spreading Across Keys

For high throughput you can rotate across multiple API keys or providers, distributing load so no single key hits its cap. Track each key's usage independently.

Monitoring Limits

Track 429 rates and how close you run to caps. Rising 429s signal you need a higher tier, better throttling, or more keys before users notice failures.

Quick Check

Test your rate-limiting knowledge.

Recap

You learned to manage limits and quotas in production:

  • Providers cap RPM and TPM; 429s break agents
  • Use an InMemoryRateLimiter to throttle proactively
  • Add retry with backoff and honor Retry-After
  • Enforce per-user quotas with a token bucket
  • Queue, rotate keys, and monitor 429 rates

Good limit management keeps scaled agents reliable and affordable.

Często zadawane pytania

Czy lekcja „Ograniczanie częstotliwości żądań i zarządzanie limitami API” jest bezpłatna?

Tak — pełny tekst „Ograniczanie częstotliwości żądań i zarządzanie limitami API” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu AI Agents with LangChain & Autonomous Workflows, przejdź na CoddyKit PRO. Kurs AI Agents with LangChain & Autonomous Workflows zawiera 4 lekcji w sumie.

Co nauczysz się w „Ograniczanie częstotliwości żądań i zarządzanie limitami API”?

Chroń agentów produkcyjnych przed limitami dostawców i niekontrolowanym wzrostem kosztów, ograniczając tempo żądań, ponawiając je z exponential backoffem i zarządzając limitami na użytkownika. Ćwiczysz AI Agents with LangChain & Autonomous Workflows z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.

Czy potrzebuję doświadczenia, aby zacząć AI Agents with LangChain & Autonomous Workflows?

Nie wymagamy żadnego doświadczenia. AI Agents with LangChain & Autonomous Workflows w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 4 z 4.

Ile czasu zajmuje lekcja „Ograniczanie częstotliwości żądań i zarządzanie limitami API”?

Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.

Czy mogę pisać i uruchamiać kod w tej lekcji AI Agents with LangChain & Autonomous Workflows?

Tak. Każda lekcja AI Agents with LangChain & Autonomous Workflows zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.

Wszystkie lekcje w tym kursie

  1. Wdrażanie agentów na platformach chmurowych
  2. Zarządzanie stanem i sesjami agentów
  3. Skalowanie architektur agentów
  4. Ograniczanie częstotliwości żądań i zarządzanie limitami API
← Powrót do AI Agents with LangChain & Autonomous Workflows