Меньше алертов: как мы уменьшили шум на 63%
Не всякий алерт полезен. Разбираем, как группировка и приоритеты по влиянию убирают шум, не скрывая проблемы.
Команда, которая получает сорок уведомлений за ночь, перестаёт читать уведомления. Это не проблема дисциплины — это проблема дизайна алертов.
Считайте не алерты, а инциденты
Один сломанный сервис может породить десятки сигналов: задержки, ошибки, ретраи, падение конверсии. Дежурному нужен один инцидент с контекстом, а не сорок сообщений с разных графиков.
- Группируйте по сервису и вероятной причине.
- Подавляйте повторы на время активного инцидента.
- Сортируйте по влиянию на пользователя, а не по порогу метрики.
Алерт, который не требует действия, — это просто шум с красивым названием.
Что мы изменили у себя
Перешли с порогов на SLO-сигналы, добавили окна подавления и явные правила: если ошибок нет, но latency выросла на 5%, это не повод будить человека ночью.
После изменений число уведомлений упало на 63%, а время до обнаружения сократилось. Меньше шума не значит меньше внимания — наоборот.