Перевірки ззовні, що не кричать «вовки»

Хибні тривоги — проблема чергувань, а не моніторингу

Збій в одній точці перевірки Tenium вважає гіпотезою. Регіон, що не отримав відповіді, позначає монітор підозрілим і просить інші регіони негайно перевірити ще раз. Інцидент відкривається, лише коли обидва регіони повідомляють про збій у вікні підтвердження, яке за замовчуванням триває 60 секунд. Відновлення підтверджується так само, тож сервіс, що то працює, то ні, дає один інцидент із переходами всередині, а не низку повідомлень.

Щоб це було чесно: монітор, який ви навмисно прив’язали до одного регіону, пропускає підтвердження й сповіщає з першого збою, і інтерфейс це чітко позначає.

Ескалація, heartbeat і API

Політики ескалації з’являються на Pro ($29): Telegram одразу, e-mail основному чергуванню за кілька хвилин без підтвердження, потім другий контакт. PagerDuty і Zapier — на Agency ($59). Heartbeat-монітор працює навпаки: ваше завдання викликає Tenium, а якщо виклику немає до дедлайну або завдання кличе /fail, відкривається інцидент.

Щоб деплой не будив черговий, поставте монітори на паузу через API (POST /monitors/{id}/pause), викотіть реліз, запустіть POST /monitors/{id}/check і зніміть паузу. Для запису потрібен ключ із правом запису на Pro або Agency.

Heartbeat для cron, CI і пакетних завдань

Найтихіше ламаються завдання, за якими ніхто не стежить: нічні резервні копії, продовження сертифікатів, чистильники черг, вивантаження даних, запланований пайплайн, у який ніхто не заглядав від часів міграції. Heartbeat-монітор змінює напрямок: не Tenium викликає ваш сервіс, а ваше завдання викликає Tenium, і якщо виклику немає до дедлайну, монітор переходить у стан збою.

• Додайте до завдання один запит: curl -fsS -m 10 https://ping.tenium.app/h/abc123 > /dev/null.
• Щоб міряти тривалість, викликайте адресу із суфіксом /start перед завданням і звичайну після нього; завдання, що стартувало й не завершилося, теж позначається.
• Викликайте /fail в обробнику помилок, щоб одразу відкрити інцидент із хвостом логу до 10 КБ.
• Задайте період і додатковий час або cron-вираз із часовим поясом, щоб нічне завдання о 03:00 не оцінювалося за арифметикою літнього часу.

Heartbeat починається зі Starter, кількість залежить від тарифу: 20 на Starter, 100 на Pro і 500 на Agency. Усі суфікси та формати запитів описано в розділах моніторинг cron-завдань і API: heartbeat-монітори.

Деплої, обслуговування й API

Заплановані роботи не повинні псувати аптайм і будити людей. Вікна обслуговування, разові чи повторювані, задають у застосунку з часовим поясом: вони приглушують сповіщення й виключають цей період зі звітного аптайму. Для розгортань із пайплайна REST API дає POST /monitors/{id}/pause і /resume: завдання деплою ставить потрібні монітори на паузу, викочує реліз, запускає POST /monitors/{id}/check, щоб перевірити ззовні, і знімає монітори з паузи. Для запису потрібен ключ із правом запису на Pro або Agency; ліміти — 120 запитів на запис за хвилину на ключ і одна негайна перевірка на монітор раз на десять секунд. Ендпоінти й приклади curl є в огляді API, а вікна обслуговування описують заплановані роботи.

Чітко про межі: Tenium не збирає внутрішніх метрик, не проходить сценарії в браузері й не замінює трасування. Він перевіряє ззовні те, що побачив би клієнт, — до 30 с на Pro і Agency — і повідомляє потрібній людині, коли докази вже надійні.

Webhook у вашу власну інфраструктуру

Підписані webhook на Pro надсилають події incident.opened, incident.acknowledged і incident.resolved, а також події про термін дії та час відповіді, у вигляді JSON із підписом HMAC-SHA256 над міткою часу й тілом. Перевіряйте підпис і відхиляйте все старше за п’ять хвилин — і ви зможете спрямовувати події в чат-ops, чергу тікетів чи автоматизацію ранбуків, не довіряючи мережевому шляху. Невдалі доставки повторюються п’ять разів приблизно за півгодини. Формати даних — у документації з webhook.