0Pricing
AI Agents · Урок

Сине-зелёные и канареечные развёртывания агентов

Выкатывайте новые промпты и модели на 5% трафика, следите за метриками и постепенно увеличивайте долю — не переключайте всё сразу.

«Сине-зелёные и канареечные развёртывания агентов» — бесплатный урок AI Agents на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения AI Agents, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс AI Agents содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

Развёртывание агентов отличается

Развёртывания традиционного кода детерминированы: успешное прохождение модульного теста означает, что изменение безопасно. Развёртывания агентов LLM — NOT: даже при том же коде замена промпта или модели может незаметно ухудшить качество.

Используйте стратегии развёртывания, предназначенные для раннего обнаружения регрессий.

Сине-зелёные развёртывания

Две идентичные среды:

  • Blue — текущая боевая среда
  • Green — новая версия

После проверки Green переключите трафик с 0% на 100% одним шагом.

Канареечные развёртывания

Постепенно переключайте трафик на новую версию:

  1. 5% → отслеживайте метрики
  2. 20% → отслеживайте
  3. 50%
  4. 100%

На любом шаге выполняйте откат, если метрики ухудшаются.

За чем следить

  • Частота ошибок
  • Задержка p95
  • Стоимость запроса
  • Сигналы обратной связи пользователей (соотношение положительных и отрицательных оценок)
  • Доля успешных оценок на наборе теневого трафика из реального трафика

Routing With a Feature Flag

import random

def pick_agent_version(user_id):
    if launchdarkly.variation('use-v2', user_id, default=False):
        return v2
    if random.random() < canary_pct:
        return v2
    return v1

# Roll canary_pct from 0 to 1.0 gradually.

Поэтапное развёртывание для каждого арендатора

Выполняйте развёртывание по арендаторам в B2B SaaS: сначала для внутренних пользователей, затем для дружественных клиентов и наконец для всех:

if user.org_id in EARLY_ACCESS_ORGS:
    return v2
return v1

Теневой режим

Запускайте новую версию IN PARALLEL, но не используйте её вывод для ответов:

v1_result = run_v1(query)
async def shadow():
    v2_result = await run_v2(query)
    log_compare(v1_result, v2_result)
asyncio.create_task(shadow())
return v1_result

Повторное воспроизведение боевого трафика

Сохраняйте запросы из боевой среды в буфер, а каждую ночь воспроизводите их в новой версии. Сравнивайте качество ответов перед выпуском версии.

A/B-тесты

Для длительных экспериментов с качеством случайным образом разделяйте трафик и статистически сравнивайте метрики в течение нескольких недель.

Версионирование промптов

Относитесь к промптам как к коду: закрепляйте версию, выпускайте их одновременно с моделью и развёртывайте с помощью флага:

PROMPTS = {
    'qa-v3': '...',
    'qa-v4': '...'
}
active = 'qa-v4' if feature_flag_on() else 'qa-v3'

Фиксация версии модели

Закрепляйте версию модели (gpt-4o-2024-08-06), чтобы обновление провайдерами моделей по умолчанию не изменило поведение системы незаметно за одну ночь.

Автоматический откат

Если метрика пересекает пороговое значение, автоматически отзывайте канареечную версию до 0% и отправляйте оповещение:

if p95_latency_now > 1.5 * p95_latency_baseline:
    flag.set('canary_pct', 0)
    alert('Auto-rollback triggered')

Документируйте каждый выпуск

Для каждого выпуска фиксируйте:

  • что изменилось (промпт, модель, поиск)
  • результаты оценки до и после
  • хронологию канареечного развёртывания
  • был ли выполнен откат

Зачем нужна канареечная версия?

Зачем использовать канареечные развёртывания для агентов вместо выпуска одним шагом?

Итоги

Направляйте трафик с помощью флага функции, постепенно увеличивайте долю с 5% до 100%, отслеживайте ошибки, задержку, стоимость и обратную связь, а при необходимости быстро выполняйте откат. Для большей уверенности добавляйте теневой режим и повторное воспроизведение.

Часто задаваемые вопросы

Урок «Сине-зелёные и канареечные развёртывания агентов» бесплатный?

Да — полный текст урока «Сине-зелёные и канареечные развёртывания агентов» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс AI Agents, подпишись на CoddyKit PRO. Курс AI Agents содержит 4 уроков всего.

Чему я научусь в уроке «Сине-зелёные и канареечные развёртывания агентов»?

Выкатывайте новые промпты и модели на 5% трафика, следите за метриками и постепенно увеличивайте долю — не переключайте всё сразу. Ты практикуешь AI Agents с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать AI Agents?

Предыдущий опыт не требуется. AI Agents на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.

Сколько времени занимает урок «Сине-зелёные и канареечные развёртывания агентов»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке AI Agents?

Да. Каждый урок AI Agents включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

  1. Предоставление агентов через API
  2. Асинхронные процессы и фоновые задачи
  3. Ограничение частоты и управление квотами
  4. Сине-зелёные и канареечные развёртывания агентов
← Назад к AI Agents