Проверки снаружи, которые не кричат «волки»

Ложные тревоги — проблема дежурств, а не мониторинга

Сбой в одной точке проверки Tenium считает гипотезой. Регион, не получивший ответа, помечает монитор подозрительным и просит другие регионы немедленно перепроверить. Инцидент открывается, только когда оба региона сообщают о сбое в окне подтверждения, которое по умолчанию длится 60 секунд. Восстановление подтверждается так же, поэтому сервис, который то работает, то нет, даёт один инцидент с переходами внутри, а не череду уведомлений.

Чтобы было честно: монитор, который вы намеренно привязали к одному региону, пропускает подтверждение и оповещает с первого сбоя, и интерфейс это чётко помечает.

Эскалация, heartbeat и API

Политики эскалации появляются на Pro ($29): Telegram сразу, e-mail основному дежурному через несколько минут без подтверждения, затем второй контакт. PagerDuty и Zapier — на Agency ($59). Heartbeat-монитор работает наоборот: ваша задача вызывает Tenium, а если вызова нет до дедлайна или задача зовёт /fail, открывается инцидент.

Чтобы деплой не будил дежурного, поставьте мониторы на паузу через API (POST /monitors/{id}/pause), выкатите релиз, запустите POST /monitors/{id}/check и снимите паузу. Для записи нужен ключ с правом записи на Pro или Agency.

Heartbeat для cron, CI и пакетных задач

Тише всего ломаются задачи, за которыми никто не следит: ночные резервные копии, продление сертификатов, чистильщики очередей, выгрузки данных, плановый пайплайн, в который никто не заглядывал со времён миграции. Heartbeat-монитор меняет направление: не Tenium вызывает ваш сервис, а ваша задача вызывает Tenium, и если вызова нет к дедлайну, монитор переходит в состояние сбоя.

• Добавьте к задаче один запрос: curl -fsS -m 10 https://ping.tenium.app/h/abc123 > /dev/null.
• Чтобы измерять длительность, вызывайте адрес с суффиксом /start перед задачей и обычный после неё; задача, которая стартовала и не завершилась, тоже помечается.
• Вызывайте /fail в обработчике ошибок, чтобы сразу открыть инцидент с хвостом лога до 10 КБ.
• Задайте период и запас времени либо cron-выражение с часовым поясом, чтобы ночная задача в 03:00 не оценивалась по арифметике летнего времени.

Heartbeat начинается со Starter, количество зависит от тарифа: 20 на Starter, 100 на Pro и 500 на Agency. Все суффиксы и форматы запросов описаны в разделах мониторинг cron-заданий и API: heartbeat-мониторы.

Деплои, обслуживание и API

Плановые работы не должны портить аптайм и будить людей. Окна обслуживания, разовые или повторяющиеся, задают в приложении с часовым поясом: они приглушают оповещения и исключают этот период из отчётного аптайма. Для развёртываний из пайплайна REST API даёт POST /monitors/{id}/pause и /resume: задача деплоя ставит нужные мониторы на паузу, выкатывает релиз, запускает POST /monitors/{id}/check, чтобы проверить снаружи, и снимает мониторы с паузы. Для записи нужен ключ с правом записи на Pro или Agency; лимиты — 120 запросов на запись в минуту на ключ и одна немедленная проверка на монитор раз в десять секунд. Эндпоинты и примеры curl есть в обзоре API, а окна обслуживания описывают плановые работы.

Чётко о границах: Tenium не собирает внутренние метрики, не проходит сценарии в браузере и не заменяет трассировку. Он проверяет снаружи то, что увидел бы клиент, — до 30 с на Pro и Agency — и сообщает нужному человеку, когда доказательства уже надёжны.

Webhook в вашу собственную инфраструктуру

Подписанные webhook на Pro отправляют события incident.opened, incident.acknowledged и incident.resolved, а также события о сроке действия и времени ответа, в виде JSON с подписью HMAC-SHA256 над меткой времени и телом. Проверяйте подпись и отклоняйте всё старше пяти минут — и вы сможете направлять события в чат-опс, очередь тикетов или автоматизацию ранбуков, не доверяя сетевому пути. Неудачные доставки повторяются пять раз примерно за полчаса. Форматы данных — в документации по webhook.