Меньше алертов: как мы уменьшили шум на 63%

Не всякий алерт полезен. Разбираем, как группировка и приоритеты по влиянию убирают шум, не скрывая проблемы.

Команда, которая получает сорок уведомлений за ночь, перестаёт читать уведомления. Это не проблема дисциплины — это проблема дизайна алертов.

Считайте не алерты, а инциденты

Один сломанный сервис может породить десятки сигналов: задержки, ошибки, ретраи, падение конверсии. Дежурному нужен один инцидент с контекстом, а не сорок сообщений с разных графиков.

Алерт, который не требует действия, — это просто шум с красивым названием.

Что мы изменили у себя

Перешли с порогов на SLO-сигналы, добавили окна подавления и явные правила: если ошибок нет, но latency выросла на 5%, это не повод будить человека ночью.

После изменений число уведомлений упало на 63%, а время до обнаружения сократилось. Меньше шума не значит меньше внимания — наоборот.

ИС
Игорь Смирнов

Команда Delta Space. Пишем о том, что делаем и чему учимся.

Попробуйте Delta Space

Бесплатный старт без карты. Поможем с первым проектом и ответим на вопросы.

Действие выполнено