トークンバケットアルゴリズムの仕組み
トークンバケットアルゴリズムについて学び、バーストを許容できる柔軟性と、現代のシステムにおける一般的な用途を理解します。
「トークンバケットアルゴリズムの仕組み」はCoddyKit上の無料API Rate Limiting & Scalability Patternsレッスンです。 これはレッスン3/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはAPI Rate Limiting & Scalability Patterns学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 API Rate Limiting & Scalability Patternsコースには全4レッスンが含まれています。
このレッスンの一部はまだ翻訳されておらず、英語で表示されています。
Meet the Token Bucket
Welcome to the Token Bucket algorithm! After exploring fixed windows and leaky buckets, we'll now dive into a flexible approach that’s widely used in modern systems.
The Token Bucket is a rate-limiting algorithm that allows for bursts of traffic while still enforcing an average rate limit.
Tokens in a Virtual Bucket
Imagine a virtual 'bucket' that holds a certain number of 'tokens'. Each token represents permission for one API request.
- When a request arrives, it tries to take a token.
- If a token is available, the request proceeds, and the token is removed.
- If no tokens are available, the request is typically denied or queued.
Filling Up the Bucket
Tokens are continuously added to the bucket at a constant, predefined rate. This rate determines the average number of requests allowed over time.
For example, if tokens are added at 5 tokens per second, your API can sustain an average of 5 requests per second.
The Bucket's Maximum Size
Just like a real bucket, our virtual token bucket has a maximum capacity. This means it can only hold a certain number of tokens at any given time.
- If tokens are generated but the bucket is full, the new tokens are discarded.
- This capacity limits the maximum size of a 'burst' of requests that can be handled.
Requesting a Token
When an API client makes a request, the rate limiter checks the token bucket:
- If tokens are available: One token is consumed, and the request is allowed to proceed.
- If no tokens are available: The request is blocked, rejected (e.g., with HTTP 429 Too Many Requests), or deferred.
The Power of Bursts
The key advantage of the Token Bucket algorithm is its ability to allow bursts. If the bucket has accumulated many tokens (up to its capacity), a sudden rush of requests can be served immediately.
Once the accumulated tokens are used up, the rate limit reverts to the sustained token generation rate.
Token Bucket in Action
Try running this simplified Java example to see how tokens are refilled and consumed. Notice how initial requests can burst, but subsequent requests depend on refills.
public class Main {
// Simple TokenBucket class for demonstration
static class TokenBucket {
private int capacity;
private int tokens;
private int refillRate; // tokens per "tick"
public TokenBucket(int capacity, int refillRate) {
this.capacity = capacity;
this.tokens = capacity; // Start full
this.refillRate = refillRate;
}
public void refill() {
tokens = Math.min(capacity, tokens + refillRate);
System.out.println("Refill. Tokens: " + tokens);
}
public boolean tryConsume(int numTokens) {
if (tokens >= numTokens) {
tokens -= numTokens;
System.out.println("Consume " + numTokens + ". Left: " + tokens);
return true;
}
System.out.println("Fail to consume " + numTokens + ". Left: " + tokens);
return false;
}
public int getTokens() {
return tokens;
}
}
public static void main(String[] args) {
// Bucket: capacity 5, refills 1 token per tick
TokenBucket bucket = new TokenBucket(5, 1);
System.out.println("Start. Tokens: " + bucket.getTokens());
// 1. Initial burst
System.out.println("\n--- Request 1 (cost 3) ---");
bucket.tryConsume(3); // OK: 5 -> 2
// 2. Simulate time passing (refill)
System.out.println("\n--- Tick 1 ---");
bucket.refill(); // 2 -> 3
// 3. Another request
System.out.println("\n--- Request 2 (cost 2) ---");
bucket.tryConsume(2); // OK: 3 -> 1
// 4. Simulate time passing (refill)
System.out.println("\n--- Tick 2 ---");
bucket.refill(); // 1 -> 2
// 5. Try to consume more than available
System.out.println("\n--- Request 3 (cost 3) ---");
bucket.tryConsume(3); // FAIL: 2 tokens available
// 6. Simulate time passing (refill)
System.out.println("\n--- Tick 3 ---");
bucket.refill(); // 2 -> 3
// 7. Try again with enough tokens
System.out.println("\n--- Request 4 (cost 3) ---");
bucket.tryConsume(3); // OK: 3 -> 0
}
}Why Choose Token Bucket?
The Token Bucket algorithm offers several compelling advantages, especially when compared to simpler methods:
- Allows Bursts: It's perfect for APIs that expect occasional spikes in traffic.
- Simple to Implement: The core logic is straightforward to code.
- Smooth Average Rate: While allowing bursts, it still enforces a consistent average request rate over the long term.
- Flexible: You can tune both the refill rate and bucket capacity to suit different use cases.
Common Use Cases
Token Bucket is widely used in various scenarios where controlled burstiness is desirable:
- API Gateways: To protect backend services from sudden traffic surges.
- Network Traffic Shaping: To smooth out data transmission and prevent network congestion.
- Resource Management: Limiting access to shared resources in distributed systems.
- Client-Side Rate Limiting: Implementing rate limits within client SDKs to prevent excessive requests.
Token Bucket Check
Let's test your understanding of the Token Bucket algorithm.
Token Bucket Summary
Great job! In this lesson, you've learned about the Token Bucket algorithm, a powerful rate-limiting method.
- It uses a virtual bucket that accumulates tokens at a fixed rate.
- Requests consume tokens, and if no tokens are available, requests are denied.
- Its main strength is allowing controlled bursts of traffic, up to the bucket's capacity.
This flexibility makes it a popular choice for many real-world API and network applications.
よくある質問
「トークンバケットアルゴリズムの仕組み」レッスンは無料ですか？
はい。「トークンバケットアルゴリズムの仕組み」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、API Rate Limiting & Scalability Patternsコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 API Rate Limiting & Scalability Patternsコースには全4レッスンが含まれています。
「トークンバケットアルゴリズムの仕組み」で何を学びますか？
トークンバケットアルゴリズムについて学び、バーストを許容できる柔軟性と、現代のシステムにおける一般的な用途を理解します。 ブラウザで直接実行するハンズオンコードでAPI Rate Limiting & Scalability Patternsを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
API Rate Limiting & Scalability Patternsを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのAPI Rate Limiting & Scalability Patternsは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン3/4です。
「トークンバケットアルゴリズムの仕組み」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このAPI Rate Limiting & Scalability Patternsレッスンでコードを書いて実行できますか？
はい。すべてのAPI Rate Limiting & Scalability Patternsレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- 固定ウィンドウカウンターの仕組み
- リーキーバケットアルゴリズム詳解
- トークンバケットアルゴリズムの仕組み
- 適切なアルゴリズムの選択