Оповещения о скачках задержки и ошибок

Рабочий стол помогает только тогда, когда на него кто-то смотрит. Оповещения круглосуточно отслеживают метрики и связываются с вами, как только что-то ломается. 🚨

Цель — сработать до того, как пользователи что-либо заметят. Обнаружьте постепенный рост задержки или числа ошибок, пока ещё есть время отреагировать.

Правило оповещения — это выражение PromQL и условие. Когда выражение остаётся истинным достаточно долго, оповещение срабатывает.

Следите за задержкой p99 и запускайте оповещение, когда она пересекает порог, например полсекунды, указывая на слишком медленную работу модели.

Запускайте оповещение, когда доля ошибок превышает небольшую величину, например когда за последние несколько минут завершается ошибкой пять процентов запросов.

Условие for требует, чтобы условие сохранялось в течение продолжительного периода до срабатывания, поэтому кратковременный сбой длительностью в одну секунду никого не разбудит.

Добавляйте к каждому правилу метки, например уровень серьёзности. Они позволяют направлять критическое оповещение иначе, чем предупреждение низкого приоритета.

Используйте аннотации, чтобы добавить понятное описание и ссылку на инструкцию по устранению неполадок: тот, кто получит оповещение, будет знать, что произошло и что делать.

Prometheus решает, когда активировать оповещение, а Alertmanager отвечает за доставку, группировку и подавление этих оповещений.

Направляйте оповещения в получатель, за которым люди действительно следят, например в Slack или PagerDuty, а не в почтовый ящик, который никто не читает.

Слишком частые ложные срабатывания вызывают усталость от оповещений, и люди перестают их читать. Настраивайте пороги и длительность for, пока каждое оповещение не станет достаточно важным, чтобы ради него проснуться.

Вы написали правила оповещений PromQL для задержек и всплесков ошибок, использовали длительность for, чтобы пропускать кратковременные всплески, и направили активированные оповещения через Alertmanager людям. ✅