Якщо ніхто не відповів, кличуть наступного

Ідея одним реченням

Політика ескалації — це список контактів, кожен зі своєю затримкою, і всі вони прив’язані до одного інциденту: перша людина дізнається одразу, наступна — лише якщо після її затримки інцидент усе ще без підтвердження отримання, і так далі. Це можливість тарифів Pro і Agency, бо саме в цій точці інструмент моніторингу перестає бути просто сповіщенням і стає страховою сіткою. Усередині кожен крок — це контакт плюс кількість секунд, а сповіщення ставиться в чергу на цей час, а не надсилається одразу.

Хронологія, яку можна скопіювати

Ось політика для магазину, власник якого спить із вимкненим звуком на телефоні, і фрілансера, що відповідає за технічну частину. Час відлічується від моменту відкриття інциденту, тобто після підтвердження з кількох регіонів, а не від першої невдалої перевірки.

• Одразу: повідомлення в Telegram у групу команди плюс лист на адресу підтримки.
• Через 5 хвилин без підтвердження отримання: лист тому, хто чергує цього тижня.
• Через 15 хвилин без підтвердження отримання: повідомлення в Telegram у особистий чат власника — той, якому дозволено шуміти вночі.

Як ця хронологія виглядає на практиці

Сайт починає віддавати помилки о 02:13:40. До 02:14:10 збій підтверджено, інцидент відкривається, і йдуть повідомлення в Telegram та лист. Ніхто не реагує. О 02:19:10 лист доходить до чергового, який торкається посилання підтвердження, не вставаючи з ліжка. Тепер отримання підтверджено, тож 15-хвилинне повідомлення власнику в Telegram, коли настає його час, пропускається, і власника ніхто не будить. О 02:41 сайт відновлюється, і всі, хто щось отримував, отримують повідомлення про відновлення з тривалістю простою 26 хвилин 50 секунд.

Якби ніхто не підтвердив отримання, повідомлення дійшло б до власника о 02:29:10. А якби сайт відновився о 02:17, до терміну листа, лист теж було б пропущено, бо кроки в черзі скасовуються, коли інцидент уже вирішено.

Що зупиняє ланцюжок

Його зупиняє підтвердження отримання: зі сторінки інциденту, за посиланням у листі, через API або /ack у Telegram. Зупиняє його й вирішення. Відновлення завжди доходить до контактів, яких сповістили про проблему. Не зупиняють його тихі години: вони затримують лише некритичні сповіщення на кшталт попереджень про сертифікати й сповіщень про повільну відповідь, але ніколи — про простій. Тому тихі години не можуть зробити так, щоб нічний виклик зник.

Вартість і ліміти

Кроки ескалації не коштують нічого додатково: кожен крок — це Telegram або e-mail, тож немає плати за повідомлення і немає ліміту, що вичерпується. Кроки враховуються в погодинному ліміті сповіщень, який становить 1 500 на Pro і 6 000 на Agency і має значення лише в справжній бурі. Ставте ланцюжки на ті монітори, де година простою справді коштує грошей, а решту залишайте з одним негайним сповіщенням.

Помилки, через які ескалація марна

Звичайні помилки нудні. Усі в ланцюжку — одна людина, тож повідомлення через п’ятнадцять хвилин потрапляє на той самий телефон, який проігнорував лист. Останній крок — контакт, який не підтверджено, тож він мовчки нічого не робить. До шумного монітора прив’язано ланцюжок, і всі привчаються його ігнорувати, тож на справжній збій ніхто не реагує. І політику прив’язано не до тих моніторів, тож єдиний важливий сайт досі сповіщає одну поштову адресу. Переглядайте ланцюжок щоразу, коли хтось приходить у команду чи йде з неї.

Затримки, з якими можна жити

Затримка, коротша за час, потрібний людині, щоб прочитати сповіщення, — просто шум. П’ять хвилин — розумний перший проміжок для сайту, простій якого поганий, але не катастрофічний; дві-три хвилини пасують платіжній сторінці. Зробіть останній крок трохи менш ввічливим за перший: надішліть його в особистий чат, якому дозволено шуміти вночі. Перевірте весь ланцюжок один раз на тимчасовому моніторі з адресою, яку ви контролюєте, щоб перша зустріч із політикою не припала на справжній інцидент.

Ескалація тут навмисно проста. Немає ротаційних календарів чергувань, винятків на свята та маршрутизації «слідом за сонцем». Якщо вони вам потрібні, надсилайте сповіщення до PagerDuty на Agency і дозвольте йому викликати потрібну людину. Подробиці про команди й типи контактів — у розділі сповіщення й ескалація в документації, а про бік інциденту — у керуванні інцидентами.