Метрики, панели мониторинга и SLI/SLO

Сбор метрик — это только первый шаг. Чтобы надёжно эксплуатировать системы, нужно превращать числа в панели мониторинга и целевые показатели уровня сервиса, отражающие реальный опыт пользователей.

Google SRE рекомендует отслеживать для любого сервиса четыре сигнала: задержку, трафик, ошибки и насыщение. Они охватывают большинство проблем, с которыми сталкиваются пользователи.

Распространённые виды метрик: счётчик только увеличивается (обслуженные запросы), датчик повышается и снижается (используемая память), а гистограмма распределяет значения по диапазонам (длительность запросов).

Базы данных временных рядов, такие как Prometheus, используют язык запросов для анализа метрик. Здесь мы вычисляем количество запросов в секунду за пятиминутный период.

Такие инструменты, как Grafana, превращают запросы в панели. Хорошая панель с одного взгляда отвечает на вопрос: исправно ли работает сервис прямо сейчас?

• Верхняя строка: золотые сигналы
• Ниже — панели для детализации
• Единый диапазон времени

Индикатор уровня сервиса — это измеряемый показатель, отражающий удовлетворённость пользователей, например доля запросов, успешно и быстро обработанных.

Целевой показатель уровня сервиса — это целевое значение SLI за определённый период, например успешное выполнение 99,9% запросов в течение 30 дней. Он определяет, что считать достаточно хорошим результатом.

SLA — это договорное обещание клиентам, часто предусматривающее штрафы. SLO — это Ваши внутренние, обычно более строгие инженерные целевые показатели.

Если Ваш SLO равен 99,9%, оставшиеся 0,1% — это Ваш бюджет ошибок, то есть допустимая доля сбоев. Тратьте её на рискованные развертывания; когда она закончится, замедлите темп и стабилизируйте систему.

Оповещайте людей о том, что ощущают пользователи — высокой частоте ошибок и медленных ответах, — а не о каждом кратковременном всплеске CPU. Оповещения по симптомам уменьшают шум и усталость от уведомлений.

Слишком большое число панелей мониторинга так же плохо, как и их полное отсутствие. Поддерживайте небольшой набор надёжных панелей, за которые кто-то отвечает и которые связаны с Вашими SLO, вместо десятков устаревших панелей.

Как связаны SLO и бюджеты ошибок?

Теперь Вы умеете делать мониторинг осмысленным:

• Отслеживайте четыре золотых сигнала
• Различайте счётчики, датчики и гистограммы; выполняйте запросы с помощью rate()
• Определяйте SLI (измеряемые показатели) и SLO (целевые показатели)
• Бюджеты ошибок задают темп развертываний; оповещайте о симптомах

Надёжность становится тем, что Вы измеряете и регулируете, а не просто надеетесь на неё.