Оповещения мониторинга
Оповещения мониторинга (Alerts) срабатывают, когда метрики достигают определенного порога значений. Посмотреть все оповещения можно по ссылке:
http://<domain_env>:8880/api/v1/alerts
В сервисе Alertmanager допускается использование кастомного шаблона. Шаблон следует разместить в каталоге:
~/install_co/playbooks/paas_observability/files/alertmanager/templates/
Рекомендуется сохранить копию шаблона в отдельном хранилище данных. При обновлении или переустановке продукта шаблон следует заново разместить в указанном каталоге.
По умолчанию при срабатывании Alerts сервис Alertmanager в VictoriaMetrics не будет отправлять уведомления в виде электронных писем. Подробнее о настройке см. раздел «Настройка оповещений мониторинга».
Правила формирования оповещений представлены в таблице.
| Группа правил | Название правила | Описание правила | Порог срабатывания правила | Длительность правила |
|---|---|---|---|---|
| co backend rules | failed logins exceeds 10% of total count | Соотношение неуспешных авторизаций ко всем авторизациям | Количество неуспешных авторизаций за 5 мин интервал достигло 10% от всех авторизаций | 2 мин. |
| co backend rules | 500 bad request percentage too high | Темп запросов со статусом 500 | Темп запросов со статусом 500 за 5 мин интервал достиг больше 2% от всех запросов | 5 мин. |
| co backend rules | jvm heap warning | Соотношение потребляемой памяти сервиса к максимальной (средства JVM) | Количество потребляемой памяти сервиса достигло больше 80% от максимально выделенной памяти этому сервису | 5 мин. |
| co backend rules | tomcat threads warning | Количество Tomcat потоков приближается к максимуму | В течение 15 мин. количество Tomcat потоков превысит максимальное количество | 5 мин. |
| co backend rules | du pool is about to become completely occupied | Набор DU для открытия документов вскоре закончится | В течение 1 ч. количество занятых DU приблизится к максимуму | 10 мин. |
| co backend rules | docs open failures exceeds 10% of total count | Соотношение неуспешных открытий документов ко всем открытиям документов | Количество неуспешных открытий документов за 5 мин интервал достигло 10% от всех открытий документов | 5 мин. |
| co blackbox rules | http(s) probe: status code | Входной балансировщик отвечает для сервисов CO | Ответ от сервиса СО приходит со статусом отличным от 200 | 5 мин. |
| co blackbox rules | SSLCertExpiringSoon | Сертификат сервисов скоро истекает | До окончания сертификата осталось 7 дней | 30 мин. |
| co main rules | target_liveness | Сервис CO работает | Сервис не работает в течение N мин (длительности правила) | 3 мин. |
| co main rules | disk usage: root warning | Соотношение используемого места на диске хоста к максимальному | Количество доступного места достигает 80% < 95% от максимального, либо в течение 8 ч., если ничего не изменится, то количество свободного места станет меньше 0 | 30 мин. |
| co main rules | disk usage: srv warning | Соотношение используемого места на диске хоста сервисами SRV к максимальному | Количество доступного места сервисов SRV достигает 80% < 95% от максимального, либо в течение 8 ч., если ничего не изменится, то количество свободного места станет меньше 0 | 30 мин. |
| co main rules | disk usage: root critical | Соотношение используемого места на диске хоста к максимальному | Количество доступного места достигает 95% от максимального, либо в течение 4 ч., если ничего не изменится, то количество свободного места станет меньше 0 | 30 мин. |
| co main rules | disk usage: srv critical | Соотношение используемого места на диске хоста сервисами SRV к максимальному | Количество доступного места сервисов SRV достигает 95% от максимального, либо в течение 4 ч., если ничего не изменится, то количество свободного места станет меньше 0 | 30 мин. |
| co main rules | oom kill detected | Произошёл сбой из-за нехватки памяти OOM (Out Of Memory) | Зафиксирован OOM от сервиса в течение 1 мин. | - |
| co main rules | high memory load | Соотношение потребляемой памяти хоста к максимальной (средства Docker) | Количество доступной памяти хоста стало меньше 5% от максимальной памяти | 30 мин. |
| co main rules | CPU iowait too high | Длительность ожидания IO операций | Среднее время ожидания IO операций в течение 15 мин. достигло 30 сек | 30 мин. |
| co main rules | High CPU Load | Нагрузка на CPU | Процентное соотношение загрузки CPU достигло 90% | - |
| co main rules | LA too high | Средняя нагрузка на CPU | Средняя нагрузка на CPU выше текущей нагрузки в 1.5 раз в течение N (длительность правила) | 10 мин. |