API Rate Limiting & Scalability Patterns · 강의

토큰 버킷 알고리즘의 작동 원리

토큰 버킷 알고리즘을 살펴보고 트래픽 급증을 유연하게 허용하는 방식과 현대 시스템에서의 일반적인 사용 사례를 이해합니다.

토큰 버킷 알고리즘의 작동 원리은(는) CoddyKit의 무료 API Rate Limiting & Scalability Patterns 강의입니다. 이것은 4개 중 3번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 API Rate Limiting & Scalability Patterns 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. API Rate Limiting & Scalability Patterns 강의에는 총 4개의 강의가 포함되어 있습니다.

이 강의의 일부는 아직 번역되지 않았으며 영어로 표시됩니다.

Meet the Token Bucket

Welcome to the Token Bucket algorithm! After exploring fixed windows and leaky buckets, we'll now dive into a flexible approach that’s widely used in modern systems.

The Token Bucket is a rate-limiting algorithm that allows for bursts of traffic while still enforcing an average rate limit.

Tokens in a Virtual Bucket

Imagine a virtual 'bucket' that holds a certain number of 'tokens'. Each token represents permission for one API request.

When a request arrives, it tries to take a token.
If a token is available, the request proceeds, and the token is removed.
If no tokens are available, the request is typically denied or queued.

Filling Up the Bucket

Tokens are continuously added to the bucket at a constant, predefined rate. This rate determines the average number of requests allowed over time.

For example, if tokens are added at 5 tokens per second, your API can sustain an average of 5 requests per second.

The Bucket's Maximum Size

Just like a real bucket, our virtual token bucket has a maximum capacity. This means it can only hold a certain number of tokens at any given time.

If tokens are generated but the bucket is full, the new tokens are discarded.
This capacity limits the maximum size of a 'burst' of requests that can be handled.

Requesting a Token

When an API client makes a request, the rate limiter checks the token bucket:

If tokens are available: One token is consumed, and the request is allowed to proceed.
If no tokens are available: The request is blocked, rejected (e.g., with HTTP 429 Too Many Requests), or deferred.

The Power of Bursts

The key advantage of the Token Bucket algorithm is its ability to allow bursts. If the bucket has accumulated many tokens (up to its capacity), a sudden rush of requests can be served immediately.

Once the accumulated tokens are used up, the rate limit reverts to the sustained token generation rate.

Token Bucket in Action

Try running this simplified Java example to see how tokens are refilled and consumed. Notice how initial requests can burst, but subsequent requests depend on refills.

public class Main {
  // Simple TokenBucket class for demonstration
  static class TokenBucket {
    private int capacity;
    private int tokens;
    private int refillRate; // tokens per "tick"

    public TokenBucket(int capacity, int refillRate) {
      this.capacity = capacity;
      this.tokens = capacity; // Start full
      this.refillRate = refillRate;
    }

    public void refill() {
      tokens = Math.min(capacity, tokens + refillRate);
      System.out.println("Refill. Tokens: " + tokens);
    }

    public boolean tryConsume(int numTokens) {
      if (tokens >= numTokens) {
        tokens -= numTokens;
        System.out.println("Consume " + numTokens + ". Left: " + tokens);
        return true;
      }
      System.out.println("Fail to consume " + numTokens + ". Left: " + tokens);
      return false;
    }

    public int getTokens() {
      return tokens;
    }
  }

  public static void main(String[] args) {
    // Bucket: capacity 5, refills 1 token per tick
    TokenBucket bucket = new TokenBucket(5, 1);

    System.out.println("Start. Tokens: " + bucket.getTokens());

    // 1. Initial burst
    System.out.println("\n--- Request 1 (cost 3) ---");
    bucket.tryConsume(3); // OK: 5 -> 2

    // 2. Simulate time passing (refill)
    System.out.println("\n--- Tick 1 ---");
    bucket.refill(); // 2 -> 3

    // 3. Another request
    System.out.println("\n--- Request 2 (cost 2) ---");
    bucket.tryConsume(2); // OK: 3 -> 1

    // 4. Simulate time passing (refill)
    System.out.println("\n--- Tick 2 ---");
    bucket.refill(); // 1 -> 2

    // 5. Try to consume more than available
    System.out.println("\n--- Request 3 (cost 3) ---");
    bucket.tryConsume(3); // FAIL: 2 tokens available

    // 6. Simulate time passing (refill)
    System.out.println("\n--- Tick 3 ---");
    bucket.refill(); // 2 -> 3

    // 7. Try again with enough tokens
    System.out.println("\n--- Request 4 (cost 3) ---");
    bucket.tryConsume(3); // OK: 3 -> 0
  }
}

Why Choose Token Bucket?

The Token Bucket algorithm offers several compelling advantages, especially when compared to simpler methods:

Allows Bursts: It's perfect for APIs that expect occasional spikes in traffic.
Simple to Implement: The core logic is straightforward to code.
Smooth Average Rate: While allowing bursts, it still enforces a consistent average request rate over the long term.
Flexible: You can tune both the refill rate and bucket capacity to suit different use cases.

Common Use Cases

Token Bucket is widely used in various scenarios where controlled burstiness is desirable:

API Gateways: To protect backend services from sudden traffic surges.
Network Traffic Shaping: To smooth out data transmission and prevent network congestion.
Resource Management: Limiting access to shared resources in distributed systems.
Client-Side Rate Limiting: Implementing rate limits within client SDKs to prevent excessive requests.

Token Bucket Check

Let's test your understanding of the Token Bucket algorithm.

Token Bucket Summary

Great job! In this lesson, you've learned about the Token Bucket algorithm, a powerful rate-limiting method.

It uses a virtual bucket that accumulates tokens at a fixed rate.
Requests consume tokens, and if no tokens are available, requests are denied.
Its main strength is allowing controlled bursts of traffic, up to the bucket's capacity.

This flexibility makes it a popular choice for many real-world API and network applications.

자주 묻는 질문

“토큰 버킷 알고리즘의 작동 원리” 강의는 무료인가요?

네 — “토큰 버킷 알고리즘의 작동 원리” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 API Rate Limiting & Scalability Patterns 강의 전체를 잠금 해제할 수 있습니다. API Rate Limiting & Scalability Patterns 강의에는 총 4개의 강의가 포함되어 있습니다.

“토큰 버킷 알고리즘의 작동 원리”에서 뭘 배우나요?

토큰 버킷 알고리즘을 살펴보고 트래픽 급증을 유연하게 허용하는 방식과 현대 시스템에서의 일반적인 사용 사례를 이해합니다. 브라우저에서 직접 실행하는 실습 코드로 API Rate Limiting & Scalability Patterns을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.

API Rate Limiting & Scalability Patterns을(를) 시작하는 데 경험이 필요한가요?

사전 경험은 필요하지 않습니다. CoddyKit의 API Rate Limiting & Scalability Patterns은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 3번째 강의입니다.

“토큰 버킷 알고리즘의 작동 원리” 강의는 얼마나 걸리나요?

대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.

이 API Rate Limiting & Scalability Patterns 강의에서 코드를 작성하고 실행할 수 있나요?

네. 모든 API Rate Limiting & Scalability Patterns 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.

이 강의의 모든 강의

← API Rate Limiting & Scalability Patterns(으)로 돌아가기