Мониторинг и алертинг
Задача мониторинга — замечать проблему раньше пользователя и не будить дежурного по каждому чиху. Поэтому алерты делятся на «страница дежурному» и «утренний разбор».
Что проверяем
- Доступность HTTP-эндпоинтов с внешней точки (код ответа и время).
- Базовые метрики узла: CPU, память, диск, состояние RAID, температура.
- Состояние служб через systemd и health-эндпоинты.
- Свежесть резервных копий: если последняя копия старше 12 часов — алерт.
- TLS-сертификаты: предупреждение за 21 день до истечения.
Пороги
| Метрика | Предупреждение | Критично |
|---|---|---|
| Диск, занято | 80% | 90% |
| Память, занято | 85% | 95% |
| Load average (5 мин) | > числа ядер | > 2× числа ядер |
| HTTP-ответ | > 2 с | ошибка 5xx или таймаут |
Формат проверки
Внешние пробы описываются декларативно, чтобы их можно было переиспользовать между стендами:
{
"name": "docs",
"url": "https://docs.sartserv.ru/",
"method": "GET",
"expect_status": 200,
"timeout_ms": 3000,
"interval_s": 60
}Дежурство
Дежурный отвечает на критичные алерты в течение 15 минут в рабочее время и в течение часа — ночью. Всё, что не критично, разбирается утром. Алерт без владельца и без инструкции считается дефектом мониторинга, а не проблемой сервиса.