지수 백오프를 적용한 재시도

재시도하는 이유

해서는 안 되는 일

# BAD
for _ in range(10):
    try:
        return call_api()
    except Exception:
        pass

지수 백오프

import time

def call_with_backoff(fn, attempts=5):
    for i in range(attempts):
        try:
            return fn()
        except TransientError:
            if i == attempts - 1:
                raise
            time.sleep(2 ** i)   # 1, 2, 4, 8, 16 seconds

지터 추가

import random
sleep = (2 ** i) + random.uniform(0, 1)
time.sleep(sleep)

Tenacity 사용

from tenacity import retry, wait_exponential_jitter, stop_after_attempt, retry_if_exception_type
import requests

@retry(
    wait=wait_exponential_jitter(initial=1, max=30),
    stop=stop_after_attempt(5),
    retry=retry_if_exception_type((requests.Timeout, requests.ConnectionError))
)
def search(query):
    return requests.get('https://api.tavily.com/search', timeout=10).json()

일시적 오류만 재시도

속도 제한을 고려한 재시도

if response.status_code == 429:
    wait = int(response.headers.get('Retry-After', 5))
    time.sleep(wait)
    continue

전체 재시도 시간 제한

from tenacity import stop_after_delay

@retry(
    wait=wait_exponential_jitter(initial=1, max=10),
    stop=stop_after_delay(60)
)
def call_api():
    ...

멱등성 헤더

headers = {'Idempotency-Key': f'agent-call-{run_id}-{tool_id}'}

LLM 호출도 재시도

client = OpenAI(max_retries=5, timeout=30.0)

비동기 재시도

from tenacity import AsyncRetrying

async for attempt in AsyncRetrying(wait=wait_exponential_jitter(), stop=stop_after_attempt(5)):
    with attempt:
        result = await call_api()

재시도 로깅

재시도와 시간 제한

지터가 필요한 이유

요약