Мониторинг cron: узнайте, когда задача не выполнилась

Как определяется опоздание

У heartbeat-монитора два числа, оба в секундах: как часто задача должна пинговать и какой запас времени допустим. Дедлайн — это время последнего пинга о завершении плюс период плюс запас. Как только часы проходят этот момент, открывается инцидент с сообщением вроде «Heartbeat пропущен, последний пинг 26 часов назад». До первого пинга отсчёт идёт от момента создания монитора, поэтому новый heartbeat, от которого задача так и не дала о себе знать, тоже оповещает.

Дедлайн сдвигается вместе с каждым пингом и не привязан к настенным часам. Ночной бэкап с периодом 86400 и запасом 3600 считается опоздавшим, если следующий пинг пришёл позже чем через 25 часов после предыдущего. Отсюда практический вывод: выбирайте запас так, чтобы он покрывал самый долгий обычный запуск вместе с разбросом старта. Если задача стартует в 03:00, обычно заканчивается к 03:20, но иногда идёт 80 минут, запас в час слишком мал, а два часа безопасны. Дедлайны проверяются с интервалом самого монитора, поэтому оповещение может отставать от дедлайна на один интервал.

Три адреса

После сохранения монитора вы получаете адрес для пинга вида https://YOUR-APP-HOST/hb/hb_TOKEN. Токен — единственный секрет, поэтому не кладите его в публичные репозитории. Работают и GET, и POST, а успешный вызов отвечает «ok».

• Сам адрес или /finish: задача выполнена. Дедлайн сбрасывается, открытый инцидент закрывается, и отправляется оповещение о восстановлении.
• /fail: задача завершилась неудачно. Инцидент открывается сразу, не дожидаясь дедлайна, а причиной становится отправленное вами сообщение.
• /start: задача стартовала. Это сохраняется в истории монитора, так что виден запуск, который начался и не закончился, но дедлайн не сдвигается.
• Заметки: ?msg=текст или ?exit=2 в GET-запросе либо тело POST до 10 КБ, например хвост лога. Инцидент покажет их.

Рецепты с curl

Делайте эти однострочники короткими, остальное сделает оболочка. Подставьте свой адрес.

• Обычный cron: 0 3 * * * /usr/local/bin/backup.sh && curl -fsS -m 10 --retry 3 https://YOUR-APP-HOST/hb/hb_TOKEN > /dev/null. Из-за && неудачный скрипт пинг не отправляет, и срабатывает оповещение о пропуске.
• Немедленное оповещение о сбое: backup.sh && curl -fsS $URL || curl -fsS "$URL/fail?msg=backup+failed". Вторая ветка сразу открывает инцидент.
• Вывод в оповещении: out=$(backup.sh 2>&1); curl -fsS --data-binary "$out" $URL/finish. В ветке сбоя вызывайте $URL/fail, чтобы хвост лога попал в инцидент.
• systemd: добавьте ExecStartPost=/usr/bin/curl -fsS https://YOUR-APP-HOST/hb/hb_TOKEN в сервис типа oneshot, чтобы вызов выполнялся только после успешного завершения основной команды.
• Kubernetes CronJob или CI: поставьте curl последним шагом скрипта задачи, в GitHub Actions или GitLab — завершающим шагом запланированного workflow.

Расписания, которые форма не умеет описать

Heartbeat работает с обычным периодом, а не с выражением cron и не с часовым поясом. Поэтому задаче, которая запускается только по будням, нужен период, достаточный, чтобы перекрыть выходные, например 3 суток, а это значит, что сбой в пятницу заметят только в понедельник. Лучше так: период в одни сутки и два монитора, или пусть задача пингует каждый день, включая пинг «делать нечего» в выходные. Для ежемесячных задач подойдёт период 32 дня плюс сутки запаса. Чтобы посчитать реальный интервал между запусками необычного выражения, воспользуйтесь конструктором cron.

Что heartbeat замечает, а что нет

Он замечает всё, что не даёт задаче дойти до последней строки: остановленный демон cron, перезагрузку, после которой запись отключилась, заполненный диск, изменённый PATH, истёкший пароль, зависший процесс, который никогда не завершается, и ошибочную правку crontab. Он не может знать, что завершившаяся задача ещё и выполнилась правильно. Скрипт бэкапа, который завершается с кодом ноль после записи пустого файла, спокойно отправит пинг. Ставьте пинг после шага проверки, например после проверки размера файла или подсчёта строк, чтобы успех что-то значил.

Heartbeat не проходит подтверждение из нескольких регионов, потому что ничего сетевого не проверяется: сервер либо отозвался, либо нет. Пропущенный пинг во время активного окна обслуживания не открывает инцидента, а монитор на паузе продолжает записывать пинги без оповещений.

Лимиты и тарифы

Heartbeat-мониторы начинаются со Starter, на Free их нет. Количество: 20 на Starter, 100 на Pro и 500 на Agency. Каждый адрес для пинга принимает до 30 вызовов в минуту, а с одного IP-адреса на все токены вместе разрешено 60. Сверх этого эндпоинт отвечает 429, так что пинговать чаще раза в несколько секунд из загруженного цикла бессмысленно. Для воркеров очередей пингуйте раз в минуту с периодом 120 и запасом 60. Каналы оповещений такие же, как у любого монитора, а для ночной задачи, которая не имеет права упасть, с тарифа Pro доступна эскалация, см. эскалацию оповещений. Форматы адресов перечислены в документации heartbeat API.