Основные оповещения Rule#

Чтобы быть уверенным в том, что оповещение работает, важно отслеживать Rule и оповещение со Scraper (Prometheus + Sidecar), который находится в том же кластере.

Наиболее важными метриками для оповещения являются:

• thanos_alert_sender_alerts_dropped_total. Если значение больше 0, это означает, что оповещения, запускаемые Rule, не отправляются в alertmanager, что может указывать на проблемы с подключением, несовместимостью или неправильной настройкой.

• prometheus_rule_evaluation_failures_total. Если значение больше 0, это означает, что это правило не удалось вычислить, что приводит либо к пробелу в правиле, либо к потенциально игнорируемому предупреждению. Этот показатель может указывать на проблемы в используемой queryAPI endpoint. strategy метка сообщит, происходят ли сбои из-за правил, допускающих частичный ответ, или нет.

• prometheus_rule_group_last_duration_seconds > prometheus_rule_group_interval_seconds. Если разница положительная, это означает, что вычисление правила заняло больше времени, чем запланированный интервал, и данные для некоторых интервалов могли отсутствовать. Это может указывать на то, что серверной части запроса (например, Querier) требуется слишком много времени для оценки запроса. Это может указывать на другие проблемы, такие как медленный StoreAPis или слишком сложное выражение запроса в правиле.

• thanos_rule_evaluation_with_warnings_total. Этот показатель покажет, сколько оценок закончилось каким-либо предупреждением warn при использовании правила и оповещения со значением стратегии частичного ответа.