오류 처리와 요청 한도
요청 한도 예외, 인증 오류, 시간 초과를 비롯한 일반적인 API 오류를 재시도 로직과 지수 백오프 패턴으로 처리합니다.
오류 처리와 요청 한도은(는) CoddyKit의 무료 AI Engineering Academy 강의입니다. 이것은 4개 중 4번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 AI Engineering Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. AI Engineering Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
API 오류가 발생하는 이유
API 호출에서는 과부하, 부족한 할당량, 네트워크 끊김, 잘못된 요청 등 많은 문제가 발생할 수 있습니다. 호출을 절대 실패하지 않는 것으로 취급하면 취약한 코드가 만들어집니다. 먼저 오류 유형을 파악하십시오.
OpenAI 오류 유형 개요
SDK는 RateLimitError 및 AuthenticationError 같은 구체적인 예외를 발생시킵니다. 속도 제한이나 네트워크 끊김처럼 일시적인 오류만 재시도할 가치가 있습니다. 나머지는 재시도해도 저절로 해결되지 않습니다.
Try-Except로 오류 처리하기
각 호출을 try-except로 감싸고, 아무 조건 없는 except가 아니라 구체적인 예외를 처리하십시오. 그러면 버그를 숨기지 않고 각 실패에 현명하게 대응할 수 있습니다. 코드에서 방법을 확인할 수 있습니다.
import openai
client = openai.OpenAI()
try:
response = client.chat.completions.create(
model='gpt-4o-mini',
messages=[{'role': 'user', 'content': 'Hello!'}]
)
print(response.choices[0].message.content)
except openai.AuthenticationError as e:
print('Bad API key. Check OPENAI_API_KEY environment variable.')
raise # do not retry
except openai.RateLimitError as e:
print('Rate limited. Back off and retry.')
except openai.APIConnectionError as e:
print('Network error:', e)
except openai.APIStatusError as e:
print('Server error', e.status_code, e.message)속도 제한 이해하기
OpenAI는 두 가지 속도 제한을 동시에 적용합니다. 분당 요청 수(RPM)와 분당 토큰 수(TPM)입니다. 한 번의 요청에 매우 큰 프롬프트를 보내면 TPM을 한꺼번에 초과할 수 있습니다. 두 경우 모두 429를 반환합니다.
지수 백오프: 올바른 재시도 전략
속도 제한에 걸렸습니까? 잠시 기다린 다음 지수 백오프 방식으로 재시도하십시오. 1초, 2초, 4초처럼 매번 두 배로 늘립니다. 약간의 지터와 최대 재시도 횟수를 추가하여 무한 반복을 방지하십시오. 코드를 확인해 보십시오.
import time
import random
import openai
client = openai.OpenAI()
def call_with_backoff(messages, max_retries=5):
for attempt in range(max_retries):
try:
return client.chat.completions.create(
model='gpt-4o-mini',
messages=messages
)
except openai.RateLimitError:
if attempt == max_retries - 1:
raise
wait = (2 ** attempt) + random.uniform(0, 1)
print(f'Rate limited. Waiting {wait:.1f}s (attempt {attempt+1})')
time.sleep(wait)
except (openai.APIConnectionError, openai.APIStatusError):
if attempt == max_retries - 1:
raise
time.sleep(2 ** attempt)tenacity 라이브러리 사용하기
재시도 로직을 직접 작성하지 마십시오. tenacity 라이브러리가 깔끔하게 처리해 줍니다. 함수에 @retry를 데코레이터로 적용하면 백오프, 지터, 재시도 조건을 대신 관리합니다.
from tenacity import retry, wait_random_exponential, stop_after_attempt
import openai
client = openai.OpenAI()
@retry(
wait=wait_random_exponential(min=1, max=60),
stop=stop_after_attempt(6)
)
def completion_with_backoff(**kwargs):
return client.chat.completions.create(**kwargs)
response = completion_with_backoff(
model='gpt-4o-mini',
messages=[{'role': 'user', 'content': 'Tell me a joke.'}]
)
print(response.choices[0].message.content)시간 제한 설정
멈춰 버린 요청은 앱을 영원히 정지시킬 수 있으므로 항상 시간 제한을 설정하십시오. SDK에서는 클라이언트 수준이나 개별 호출 수준에서 초 단위 시간 제한을 지정할 수 있습니다. 예상 응답 길이에 맞춰 값을 정하십시오.
import openai
# Set a default timeout for all requests from this client
client = openai.OpenAI(timeout=30.0)
# Or override per request
try:
response = client.chat.completions.create(
model='gpt-4o-mini',
messages=[{'role': 'user', 'content': 'Summarize the French Revolution.'}],
timeout=60.0
)
except openai.APITimeoutError:
print('Request timed out. Try a shorter prompt or increase timeout.')인증 오류 처리하기
AuthenticationError(401)는 키가 잘못되었거나 만료 또는 폐기되었다는 뜻입니다. 재시도해도 해결되지 않습니다. 기록하고 알림을 보낸 뒤, 재시도 횟수를 소모하지 말고 즉시 실패 처리하십시오.
import os
import openai
api_key = os.environ.get('OPENAI_API_KEY')
if not api_key:
raise EnvironmentError(
'OPENAI_API_KEY not set. Export it before running.'
)
client = openai.OpenAI(api_key=api_key)
try:
response = client.chat.completions.create(
model='gpt-4o-mini',
messages=[{'role': 'user', 'content': 'Hello'}]
)
except openai.AuthenticationError:
# Do NOT retry - the key itself is invalid
raise RuntimeError('Invalid API key. Check OPENAI_API_KEY.')할당량과 속도 제한 비교하기
둘 다 RateLimitError처럼 보이지만 다릅니다. 속도 제한은 분당 요청 수를 제한하며 저절로 초기화되지만, 할당량 제한은 더 많은 크레딧이 필요한 지출 한도입니다.
디버깅을 위해 오류 기록하기
프로덕션 환경에서는 모든 오류를 기록하고 유형, 모델, 매개변수, 토큰 수, 시간, 요청 ID를 함께 남기십시오. 이 요청 ID가 바로 OpenAI 지원팀에 필요한 정보입니다. 코드를 확인해 보십시오.
import logging
import openai
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
client = openai.OpenAI()
def safe_completion(model, messages):
try:
response = client.chat.completions.create(
model=model, messages=messages
)
return response
except openai.RateLimitError as e:
logger.warning(
'Rate limit hit',
extra={'model': model, 'error': str(e)}
)
raise
except openai.APIStatusError as e:
logger.error(
'API server error',
extra={
'status_code': e.status_code,
'request_id': e.request_id,
'model': model
}
)
raise프로덕션 앱의 오류 처리
견고한 프로덕션 전략은 다음과 같습니다. 복구할 수 없는 오류는 즉시 실패 처리하고, 일시적인 오류는 백오프로 재시도하며, 적절한 대체 동작을 제공하십시오. 하나의 API 오류 때문에 전체 서버가 중단되도록 두지 마십시오.
빠른 확인
이 단원에서 배운 AI Engineering 개념을 얼마나 이해했는지 테스트해 보십시오.
단원 요약
실패를 처리하는 방법을 배웠습니다. OpenAI는 구체적인 예외를 발생시키고, 속도 제한에는 지터를 포함한 백오프가 필요하며, 인증 오류는 즉시 실패 처리해야 합니다. 다음 주제: 강력한 프롬프트 작성입니다.
AI 튜터와 함께 Python을(를) 배우세요 — 무료
브라우저에서 실제 코드를 작성하고 실행하며, 24/7 AI 튜터로부터 즉각적인 도움을 받고, 웹이나 앱에서 중단한 부분부터 계속 학습하세요.
- 코스
- 30
- 레슨
- 120
자주 묻는 질문
“오류 처리와 요청 한도” 강의는 무료인가요?
네 — “오류 처리와 요청 한도” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 AI Engineering Academy 강의 전체를 잠금 해제할 수 있습니다. AI Engineering Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
“오류 처리와 요청 한도”에서 뭘 배우나요?
요청 한도 예외, 인증 오류, 시간 초과를 비롯한 일반적인 API 오류를 재시도 로직과 지수 백오프 패턴으로 처리합니다. 브라우저에서 직접 실행하는 실습 코드로 AI Engineering Academy을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.
AI Engineering Academy을(를) 시작하는 데 경험이 필요한가요?
사전 경험은 필요하지 않습니다. CoddyKit의 AI Engineering Academy은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 4번째 강의입니다.
“오류 처리와 요청 한도” 강의는 얼마나 걸리나요?
대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.
이 AI Engineering Academy 강의에서 코드를 작성하고 실행할 수 있나요?
네. 모든 AI Engineering Academy 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.
이 강의의 모든 강의
- Python 환경 설정하기
- 채팅 완성 엔드포인트
- 매개변수로 모델 동작 제어하기
- 오류 처리와 요청 한도