0Pricing
AI Agents · 강의

에이전트를 위한 블루-그린 및 카나리 배포

새 프롬프트와 모델을 트래픽의 5%에 배포하고 지표를 확인한 뒤 점진적으로 확대해보세요. 한 번에 전환하지 마세요.

에이전트를 위한 블루-그린 및 카나리 배포은(는) CoddyKit의 무료 AI Agents 강의입니다. 이것은 4개 중 4번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 AI Agents 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. AI Agents 강의에는 총 4개의 강의가 포함되어 있습니다.

이 강의의 일부는 아직 번역되지 않았으며 영어로 표시됩니다.

에이전트 배포는 다릅니다

전통적인 코드 배포는 결정적입니다. 단위 테스트가 통과하면 변경 사항이 안전하다는 뜻입니다. 하지만 LLM 에이전트 배포는 NOT 결정적입니다. 동일한 코드라도 프롬프트나 모델을 바꾸면 품질이 미묘하게 저하될 수 있습니다.

회귀를 조기에 감지하도록 설계된 배포 전략을 사용하십시오.

블루-그린 배포

동일한 환경 두 개를 사용합니다.

  • 블루 — 현재 프로덕션
  • 그린 — 새 버전

그린을 테스트한 후 트래픽을 한 번에 0%에서 100%로 전환합니다.

카나리 배포

트래픽을 새 버전으로 점진적으로 전환합니다.

  1. 5% → 지표를 관찰합니다
  2. 20% → 관찰합니다
  3. 50%
  4. 100%

지표가 악화되면 어느 단계에서든 롤백하십시오.

관찰할 항목

  • 오류율
  • p95 지연 시간
  • 요청당 비용
  • 사용자 피드백 신호(좋아요/싫어요 비율)
  • 실제 트래픽의 섀도 세트에서 평가를 통과한 비율

Routing With a Feature Flag

import random

def pick_agent_version(user_id):
    if launchdarkly.variation('use-v2', user_id, default=False):
        return v2
    if random.random() < canary_pct:
        return v2
    return v1

# Roll canary_pct from 0 to 1.0 gradually.

테넌트별 출시

B2B SaaS에서 테넌트별로 출시하십시오. 먼저 내부 사용자에게, 다음으로 우호적인 고객에게, 마지막으로 모든 사용자에게 출시합니다.

if user.org_id in EARLY_ACCESS_ORGS:
    return v2
return v1

섀도 모드

새 버전을 IN PARALLEL로 실행하되 그 출력은 제공하지 마십시오.

v1_result = run_v1(query)
async def shadow():
    v2_result = await run_v2(query)
    log_compare(v1_result, v2_result)
asyncio.create_task(shadow())
return v1_result

프로덕션 트래픽 재생

프로덕션 쿼리를 버퍼에 수집하고 새 버전에서 매일 밤 재생하십시오. 새 버전을 정식 출시하기 전에 답변 품질을 비교하십시오.

A/B 테스트

장기간의 품질 실험에서는 트래픽을 무작위로 나누고 몇 주에 걸쳐 지표를 통계적으로 비교하십시오.

프롬프트 버전 관리

프롬프트를 코드처럼 다루십시오. 버전을 고정하고 모델과 함께 나란히 배포한 다음, 기능 플래그를 통해 출시하십시오.

PROMPTS = {
    'qa-v3': '...',
    'qa-v4': '...'
}
active = 'qa-v4' if feature_flag_on() else 'qa-v3'

모델 버전 고정

모델 버전(gpt-4o-2024-08-06)을 고정하여 공급자가 기본 모델을 업데이트하더라도 하룻밤 사이에 동작이 조용히 바뀌지 않도록 하십시오.

자동 롤백

지표가 임계값을 넘으면 카나리를 자동으로 0%로 되돌리고 알림을 보내십시오.

if p95_latency_now > 1.5 * p95_latency_baseline:
    flag.set('canary_pct', 0)
    alert('Auto-rollback triggered')

각 릴리스 문서화

모든 릴리스에는 다음 내용을 기록하십시오.

  • 변경 사항(프롬프트, 모델, 검색)
  • 변경 전후의 평가 결과
  • 카나리 진행 기록
  • 롤백 여부

왜 카나리인가요?

한 번에 릴리스하는 대신 에이전트에 카나리 배포를 사용하는 이유는 무엇입니까?

요약

기능 플래그로 트래픽을 라우팅하고, 5%에서 100%까지 단계적으로 늘리며, 오류 / 지연 시간 / 비용 / 피드백을 관찰하십시오. 필요하면 신속하게 롤백하십시오. 확신을 높이기 위해 섀도 모드와 재생을 추가하십시오.

자주 묻는 질문

“에이전트를 위한 블루-그린 및 카나리 배포” 강의는 무료인가요?

네 — “에이전트를 위한 블루-그린 및 카나리 배포” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 AI Agents 강의 전체를 잠금 해제할 수 있습니다. AI Agents 강의에는 총 4개의 강의가 포함되어 있습니다.

“에이전트를 위한 블루-그린 및 카나리 배포”에서 뭘 배우나요?

새 프롬프트와 모델을 트래픽의 5%에 배포하고 지표를 확인한 뒤 점진적으로 확대해보세요. 한 번에 전환하지 마세요. 브라우저에서 직접 실행하는 실습 코드로 AI Agents을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.

AI Agents을(를) 시작하는 데 경험이 필요한가요?

사전 경험은 필요하지 않습니다. CoddyKit의 AI Agents은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 4번째 강의입니다.

“에이전트를 위한 블루-그린 및 카나리 배포” 강의는 얼마나 걸리나요?

대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.

이 AI Agents 강의에서 코드를 작성하고 실행할 수 있나요?

네. 모든 AI Agents 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.

이 강의의 모든 강의

  1. API 뒤에서 에이전트 제공
  2. 비동기 작업 흐름 및 백그라운드 작업
  3. 속도 제한 및 할당량 관리
  4. 에이전트를 위한 블루-그린 및 카나리 배포
← AI Agents(으)로 돌아가기