Если никто не ответил, зовут следующего

Идея одним предложением

Политика эскалации — это список контактов, каждый со своей задержкой, и все они привязаны к одному инциденту: первый человек узнаёт сразу, следующий — только если после его задержки инцидент всё ещё без подтверждения получения, и так далее. Это возможность тарифов Pro и Agency, потому что именно в этой точке инструмент мониторинга перестаёт быть просто оповещением и становится страховочной сеткой. Внутри каждый шаг — это контакт плюс количество секунд, а оповещение ставится в очередь на это время, а не отправляется сразу.

Хронология, которую можно скопировать

Вот политика для магазина, владелец которого спит с выключенным звуком на телефоне, и фрилансера, отвечающего за техническую часть. Время отсчитывается от момента открытия инцидента, то есть после подтверждения из нескольких регионов, а не от первой неудачной проверки.

• Сразу: сообщение в Telegram в группу команды плюс письмо на адрес поддержки.
• Через 5 минут без подтверждения получения: письмо тому, кто дежурит на этой неделе.
• Через 15 минут без подтверждения получения: сообщение в Telegram в личный чат владельца — тот, которому разрешено шуметь ночью.

Как эта хронология выглядит на практике

Сайт начинает отдавать ошибки в 02:13:40. К 02:14:10 сбой подтверждён, инцидент открывается, и уходят сообщение в Telegram и письмо. Никто не реагирует. В 02:19:10 письмо доходит до дежурного, который нажимает на ссылку подтверждения, не вставая с кровати. Теперь получение подтверждено, поэтому 15-минутное сообщение владельцу в Telegram, когда подходит его время, пропускается, и владельца никто не будит. В 02:41 сайт восстанавливается, и все, кто что-то получал, получают сообщение о восстановлении с длительностью простоя 26 минут 50 секунд.

Если бы никто не подтвердил получение, сообщение дошло бы до владельца в 02:29:10. А если бы сайт восстановился в 02:17, до срока письма, письмо тоже было бы пропущено, потому что шаги в очереди отменяются, когда инцидент уже решён.

Что останавливает цепочку

Её останавливает подтверждение получения: со страницы инцидента, по ссылке в письме, через API или /ack в Telegram. Останавливает её и решение инцидента. Восстановление всегда доходит до контактов, которых оповестили о проблеме. Не останавливают её тихие часы: они задерживают лишь некритичные оповещения вроде предупреждений о сертификатах и оповещений о медленном ответе, но никогда — о простое. Поэтому тихие часы не могут сделать так, чтобы ночной вызов пропал.

Стоимость и лимиты

Шаги эскалации не стоят ничего дополнительно: каждый шаг — это Telegram или e-mail, так что нет платы за сообщения и нет лимита, который исчерпывается. Шаги учитываются в почасовом лимите оповещений, который составляет 1 500 на Pro и 6 000 на Agency и имеет значение только в настоящую бурю. Ставьте цепочки на те мониторы, где час простоя действительно стоит денег, а остальные оставляйте с одним немедленным оповещением.

Ошибки, из-за которых эскалация бесполезна

Обычные ошибки скучны. Все в цепочке — один человек, так что сообщение через пятнадцать минут попадает на тот же телефон, который проигнорировал письмо. Последний шаг — контакт, который не подтверждён, так что он молча ничего не делает. К шумному монитору привязана цепочка, и все привыкают её игнорировать, так что на настоящий сбой никто не реагирует. И политика привязана не к тем мониторам, так что единственный важный сайт по-прежнему оповещает один почтовый адрес. Пересматривайте цепочку всякий раз, когда кто-то приходит в команду или уходит из неё.

Задержки, с которыми можно жить

Задержка короче времени, нужного человеку, чтобы прочитать оповещение, — просто шум. Пять минут — разумный первый промежуток для сайта, простой которого плох, но не катастрофичен; две-три минуты подходят платёжной странице. Сделайте последний шаг чуть менее вежливым, чем первый: отправьте его в личный чат, которому разрешено шуметь ночью. Проверьте всю цепочку один раз на временном мониторе с адресом, который вы контролируете, чтобы первая встреча с политикой не пришлась на настоящий инцидент.

Эскалация здесь намеренно простая. Нет ротационных календарей дежурств, исключений на праздники и маршрутизации «следом за солнцем». Если они вам нужны, отправляйте оповещения в PagerDuty на Agency и позвольте ему вызывать нужного человека. Подробности о командах и типах контактов — в разделе оповещения и эскалация в документации, а про сторону инцидента — в управлении инцидентами.