Мониторинг#

MonitoringUptime

Время жизни мониторинга

JMX

мс

java.lang:type=Runtime Uptime

LivenessProbe.Monitoring("<connector.host>:<connector.port>").Uptime

-

IsAlive

Liveness-проба Коллектора (значение должно изменяться)

ru.sbt.fpss.monitoring.collector.component.input.ConfigInput

LivenessProbe.Collector(${collectorName}).IsAlive

-

Counter

Liveness-проба Коллектора (счетчик с накопительным итогом)

ru.sbt.fpss.monitoring.collector.component.input.ConfigInput

LivenessProbe.Collector(${collectorName}).Counter

-

NumberOfInputMetrics

Количество получаемых метрик

шт

ru.sbt.fpss.monitoring.collector:name=INPUT.*

EDMN.Collector(collectorId).NumberOfInputMetrics

-

TotalNumberOfInputMetrics

Общее количество получаемых метрик

шт

ru.sbt.fpss.monitoring.collector:name=INPUT.TOTAL*

EDMN.Collector(collectorId).TotalNumberOfInputMetrics

-

CPU usage

Показатель, отражающий процент загрузки центрального процессора (CPU) системой и запущенными приложениями в определенный промежуток времени. Этот показатель помогает оценить уровень нагрузки на процессор компьютера или сервера

m

-

Memory usage

Метрика, показывающая объем оперативной памяти (RAM), занятой активными приложениями, операционными системами и различными сервисами в настоящий момент времени. Она позволяет отслеживать состояние доступной физической памяти и косвенно оценивает нагрузку на систему

MiB

-

Network in

Показатель объема данных, поступающих на устройство (сервер, компьютер, маршрутизатор) через сетевую инфраструктуру за определенный период времени. Эта метрика важна для оценки нагрузки на сетевые интерфейсы и понимания текущего состояния каналов связи

Bps

-

Filesystem

Показатель, связанный с использованием файловых систем, которые используются для мониторинга их состояния и производительности

KiB

-

transform.input

Количество входящих событий

шт

-

transform.reject

Количество отфильтрованных событий

шт

-

branch-branchStep

Количество событий, переданных в побочную ветку обработки с первым шагом branchStep

шт

-

transform.latency

Время прохождения сообщения

мс

-

system_cpu_usage

Представляет собой показатель «недавнего использования CPU» (центрального процессора) системы, на которой работает приложение. Измеряет процентный объем времени, в течение которого CPU был задействован для выполнения задач за определенный период времени.
Интерпретация:
- 0%: CPU в данный момент не используется (что может быть нормальным состоянием для системы со слабыми нагрузками);
- 10%-20%: небольшая нагрузка, система работает эффективно, без перегрузок;
- 50%-70%: умеренная нагрузка. Возможно, необходимо следить за состоянием, чтобы избежать перегрузки;
- 80%-100%: высокая загрузка CPU. Система может испытывать задержки, и производительность может ухудшаться.

-

-

process_start_time_seconds

Метрика фиксирует время запуска процесса в секундах с начала эпохи Unix (1 января 1970 года). Она указывает на момент, когда приложение или служба были запущены.

с

-

system_load_average_1m

Отражает среднюю загрузку системы за одну минуту. Она учитывает количество процессов, которые находятся в состоянии ожидания выполнения (runnable) на доступных процессорах, а также те процессы, которые в данный момент выполняются.
Интерпретация:
- 0: система не имеет активных процессов;
- 1.0: уровень нагрузки соответствует количеству доступных процессоров (система работает на пределе своих возможностей);
- Больше 1.0: указывает на перегрузку системы, где количество процессов превышает доступные ресурсы:
- Менее 1.0: указывает на то, что система имеет доступные ресурсы и не загружена.

-

-

jvm_threads_live_threads

Метрика показывает текущее количество живых потоков в Java Virtual Machine (JVM), включая как обычные (non-daemon), так и демон (daemon) потоки. Метрика подсчитывает количество потоков, которые активно функционируют в JVM в данный момент.

шт

-

jvm_threads_peak_threads

Метрика отражает максимальное количество живых потоков в JVM с момента запуска или с момента сброса максимального значения. При каждом создании нового потока JVM сравнивает текущий счетчик с предыдущим максимальным значением и обновляет его при необходимости.
Интерпретация:
- помогает понять, насколько высока была нагрузка на потоки в течение жизни приложения;
- наличие очень высокого пика может указывать на потенциальные проблемы, такие как чрезмерное создание потоков, что может привести к утечкам ресурсов.

шт

-

jvm_threads_states_threads{state=»»}

Метрика отображает текущее количество потоков в Java Virtual Machine (JVM) с учетом их состояний. Это значение позволяет детализировать информацию о количестве потоков, находящихся в различных состояниях, таких как «RUNNABLE», «BLOCKED», «WAITING», «TIMED-WAITING», «NEW», «TERMINATED».
Состояния потоков state:
- RUNNABLE: Потоки, которые готовы к выполнению и могут быть запущены процессором. Это активные потоки, которые ожидают возможности использования процессора;
- BLOCKED: Потоки, которые заблокированы и ждут освобождения монитора, то есть они не могут продолжить свою работу, пока другой поток не освободит ресурс, к которому они пытаются получить доступ;
- WAITING: Потоки, которые временно остановлены и ожидают, когда другой поток уведомит их о продолжении выполнения. Это может произойти по вызову методов, таких как Object.wait();
- TIMED-WAITING: Потоки, которые находятся в состоянии ожидания с тайм-аутом. Они могут находиться в этом состоянии, если вызывается метод, такой как Thread.sleep(millis) или Object.wait(millis), определяющий время ожидания;
- NEW: Потоки, которые были созданы, но еще не были запущены. Эти потоки находятся в состоянии «новый» и ожидают, когда их метод start() будет вызван;
- TERMINATED: Потоки, которые завершили свою работу. После завершения потока его состояние меняется на «TERMINATED», и этот поток не может быть запущен повторно.

-

-

jvm_memory_used_bytes{area=»»,id=»»}

Метрика показывает количество байт памяти, которые в данный момент используются в конкретной области памяти JVM. Она позволяет оценить текущую нагрузку на память. Высокие значения могут указывать на интенсивное использование памяти и потенциальные узкие места, такие как утечки памяти.

-

-

jvm_memory_max_bytes{area=»»,id=»»}

Метрика показывает максимальный объем памяти, который может быть выделен в конкретной области памяти. Это значение устанавливается при запуске JVM. Значение max важно для понимания пределов памяти приложения. Совпадение jvm_memory_used_bytes с jvm_memory_committed_bytes и их быстрые колебания могут указывать на проблемы с утечками памяти.
Параметры области памяти (area):
- Куча (Heap) — это область памяти, используемая для хранения объектов, создаваемых во время выполнения приложения. Включает области «young» и «old». Определяет, сколько памяти выделяется для создания и хранения объектов;
- Не куча (Non-Heap) — эта память используется для хранения метаданных, связанных с классами, методами и вспомогательной информации для JVM. Она не содержит объектов, созданных пользователем.
Параметры идентификаторов (id):
- G1 Eden Space - это пространство, где создаются новые объекты в G1 Garbage Collector. Объекты, которые не доживают до следующей сборки мусора. Позволяет эффективно выделять память для новых объектов с минимальным воздействием на производительность;
- G1 Old Gen - это старая генерация в сборщике мусора G1. Объекты, которые пережили несколько сборок мусора в G1 Eden Space, становятся кандидатами на размещение в G1 Old Gen. Хранит «долговечные» объекты, которые использовались дольше всего;
- G1 Survivor Space - пространство, используемое для объектов, выживших в процессе сборки мусора в G1 Eden Space. Существует несколько областей Survivor. Позволяет временно хранить объекты, передвигая их из «young» в «old», если они доживают до нескольких сборок мусора;
- Metaspace - это область памяти, предназначенная для хранения метаданных классов и методов. Она заменила старую область PermGen и может расти динамически. Не имеет фиксированного размера, поэтому позволяет более гибко управлять динамическим созданием классов;
- CodeHeap „non-nmethods“ - область памяти для хранения данных о скомпилированном коде, который не относится к Java-методам (например, вспомогательные структуры и внутренние представления). Улучшает производительность за счет хранения компилированного кода;
- Compressed Class Space - область памяти, используемая для хранения метаданных о классах в сжатом виде, что позволяет уменьшить объем используемой памяти. Оптимизация расхода памяти за счет сжатия метаданных классов;
- CodeHeap „profiled nmethods“ - область, в которой хранится скомпилированный код, профилированный для оптимизации производительности. Позволяет выполнять оптимизации и улучшения на основе профилирования кода;
- CodeHeap „non-profiled nmethods“ - область для хранения не профилированного скомпилированного кода, который был скомпилирован, но не подвергался наблюдению в ходе выполнения. Обеспечивает хранение кода, который еще не был оптимизирован, сохраняя возможность для дальнейшей доработки и улучшения.

-

-

jvm_gc_pause_seconds_count{action=»»,cause=»»}

Метрика показывает общее количество пауз сборщика мусора за определенный период времени. Записывает количество завершенных пауз, соответствующих действию (например, завершение Major или Minor GC). Высокое значение этой метрики может указывать на то, что приложение часто сталкивается с паузами сборщика мусора, особенно если влияние этих пауз чувствуется пользователями.

-

-

jvm_gc_pause_seconds_max{action=»»,cause=»»}

Метрика показывает максимальную продолжительность паузы сборщика мусора за указанный период времени. Значение этой метрики позволяет оценить наихудшие случаи задержки во время сборки мусора.
Параметры:
- action:
end of major GC: Указывает на то, что пауза относится к окончанию основной сборки мусора, которая очищает старую генерацию;
end of minor GC: Указывает, что пауза завершилась после легкой сборки мусора, которая очищает молодую генерацию.
- cause:
G1 Evacuation Pause: Это пауза, вызванная процессом эвакуации в сборщике мусора G1, где объекты перемещаются с одной области памяти в другую для освобождения места;
G1 Humongous Allocation: Эта пауза вызвана необходимостью выделить большие объемы памяти (humongous allocation) в G1, когда необходимо обработать большие объекты в памяти.

-

-

jvm_gc_memory_promoted_bytes_total

Метрика отслеживает общее количество памяти (в байтах), которое было перемещено из молодого поколения в старое поколение в сборщике мусора. Увеличение этого значения может указывать на то, что приложения создают большое количество объектов, которые живут долго и не освобождаются. Если метрика стабильна или низка, это может свидетельствовать о том, что приложение эффективно освобождает память, и объекты не задерживаются дольше, чем нужно.

-

-

jvm_gc_live_data_size_bytes

Метрика фиксирует размер «живых» данных в байтах, т.е. объектов, которые все еще существуют в памяти и не были собраны сборщиком мусора. Увеличение этой метрики может свидетельствовать о нарастающем потреблении памяти, что может привести к замедлению работы приложения, если не контролируется. Если jvm_gc_live_data_size_bytes близка к значению jvm_gc_max_data_size_bytes, это может предвещать нехватку памяти и потенциальные проблемы с производительностью или даже OutOfMemoryError.

-

-

jvm_buffer_memory_used_bytes{id=»»}

Объем памяти, используемой для конкретного типа буферов в байтах. id — может принимать значения mapped (замапленные буферы) и direct (прямые буферы).

-

-

jvm_buffer_total_capacity_bytes{id=»»}

Метрика отслеживает общую емкость всех буферов, управляемых JVM, в байтах. Буферы могут использоваться для временного хранения данных, таких как данные ввода-вывода, что позволяет оптимизировать производительность.
Значение для замапленных буферов (id=»mapped»):
- Отображает количество памяти, используемой для замапленных буферов, которые представляют собой область памяти, выделенную в ОС, но использующуюся JVM для работы с файловыми I/O-операциями и другими задачами. Важно знать, что замапленные буферы значительно быстрее по сравнению с обычными объектами кучи, так как они используют память напрямую без копирования.
Значение для прямых буферов (id=»direct»):
- В этой метрике отображается объем памяти, которую занимает память, выделенная для прямых буферов. Прямые буферы часто используются для оптимизации работы с I/O, поскольку обеспечивают более быстрый доступ к памяти. Использование прямых буферов может уменьшать нагрузку на сборщик мусора, так как они не находятся в куче и не требуют участия сборщика для их управления.

-

-

jvm_classes_loaded_classes

Метрика отслеживает общее количество классов, загруженных в память JVM в процессе работы приложения.

шт

-

messageAcknowledgeTime_seconds_count

Метрика фиксирует общее количество подтверждений (acknowledgments) сообщений, обработанных системой. Она ведет учет того, сколько раз произошло подтверждение обработки сообщения в течение работы приложения. Более высокое значение счетчика указывает на высокую частоту обработки сообщений, что может свидетельствовать об активности системы. Если счетчик не увеличивается, это может указывать на то, что система не обрабатывает сообщения или находится в состоянии, котором нет входящих запросов.

шт

-

messageAcknowledgeTime_seconds_max

Максимальное время, затраченное на подтверждение одного сообщения. Используется для выявления выбросов и определения пиков времени обработки. Для проверки правильности этой метрики можно сравнить ее с результатами начала и окончания обработки каждого сообщения. Если вы обрабатываете сообщения и зафиксируете максимальное значение времени, то оно должно соответствовать тому, что вы наблюдаете как максимум за все зарегистрированные временные замеры.

мс

-

flow_restart_total

Метрика отслеживает общее количество перезапусков потоков

шт

-

flow_alive

Показывает текущее активное состояние потоков в системе. Она позволяет отслеживать, сколько потоков в данный момент функционирует и обрабатывает сообщения.

шт

-

messageProcessTime_seconds_max

Метрика отслеживает максимальное время, затраченное на обработку одного сообщения в системе.

мс

-

consumerWaitDeliver_seconds_sum

Метрика суммирует общее время, которое потребители провели в ожидании доставки сообщений.

мс

-

consumerWaitDeliver_seconds_max

Метрика отслеживает максимальное время ожидания, которое потребитель (consumer) испытывает перед получением сообщения.

мс

-

consumerWaitDeliver_seconds_sum

Метрика суммирует общее время, которое потребители провели в ожидании доставки сообщений.

мс

-

consumerProcessBatch_seconds_max

Метрика отслеживает максимальное время, затраченное на обработку пакета сообщений потребителем.

мс

-

consumerProcessBatch_seconds_sum

Метрика суммирует общее время, затраченное на обработку всех пакетов сообщений.

мс

-

consumerReceiveMessages_total

Метрика отслеживает общее количество сообщений, полученных потребителем.

шт

-

consumerBufferSize

Метрика показывает текущий размер буфера потребителя, который используется для хранения сообщений перед их обработкой. Большой размер буфера может указывать на высокую нагрузку на систему или на задержки в обработке сообщений. Если размер буфера постоянно велик, это может сигнализировать о том, что потребитель не успевает обрабатывать входящие сообщения, что может привести к увеличению времени ожидания и снижению производительности.

-

-

producerSendMessageSuccess_total

Метрика отслеживает общее количество успешно отправленных сообщений производителем. Увеличение этого значения может свидетельствовать о росте активности производителя или о том, что система успешно справляется с отправкой сообщений. Высокое значение этой метрики является положительным индикатором, указывающим на стабильную работу системы.

шт

-

transform_input_total{jobName=»»,name=»»}

Метрика отслеживает общее количество входящих данных, которые были обработаны.

шт

-

transform_error_total{jobName=»»,name=»»}

Метрика отслеживает общее количество ошибок, возникших в процессе трансформации данных.

шт

-

transform_latency_seconds{jobName=»»,name=»»,quantile=»»}

Метрика отслеживает время задержки (латентности) в секундах для обработки данных в процессе трансформации.

мс

-

transform_latency_seconds_max{jobName=»»,name=»»}

Метрика отслеживает максимальное время задержки (латентности) в секундах для обработки данных в процессе трансформации.
Параметры метрик:
- jobName - имя потока из файла *.conf шага flow;
- name - имя шага трансформации из файла *.conf;
- quantile - метрика quantile используется для указания квантилей в распределении данных. Квантили делят набор данных на несколько равных частей. Например, медиана (50-й процентиль) делит данные пополам, так что половина наблюдений находится ниже этого значения, а другая половина – выше. Пример quantile=»0.5» - означает, что вы запрашиваете медиану (50-й процентиль) распределения значений задержки (latency);
- le(lower equal) - метрика используется в системах мониторинга и логирования для обозначения границ диапазонов значений (buckets). В контексте метрик Prometheus, таких как histogram или summary, она указывает верхнюю границу интервала времени, к которому относится данное значение. То есть, все значения, которые меньше или равны значению le, попадают в этот интервал. Пример, le=»0.001» - означает, что данная метрика отслеживает количество событий, у которых задержка (latency) была менее или равна 0.001 секунды.

мс

-

clientConnections

Количество подключений

шт

-

failedJobsAdded

Количество ошибок при добавлении задач

шт

-

failedJobsUpdated

Количество ошибок при обновлении задач

шт

-

failedJobsCanceled

Количество ошибок при отмене задач

шт

-

failedJobsPaused

Количество ошибок при приостановке задач

шт

-

failedJobsResumed

Количество ошибок при возобновлении задач

шт

-

failedTaskExecution

Количество ошибок при выполнении задач

шт

-

RetryCount

Количество перезапусков EVTA

шт

count (количество)

reactive.stream.adapter:name=retry,type=meters count

ProducerSendMessageSuccess

Количество успешно отправленных сообщений

шт

OneMinuteRate (скорость записи за последнюю минуту)

reactive.stream.adapter:name=producerSendMessageSuccess,type=meters OneMinuteRate

ProducerSendMessageError

Количество сообщений, отправка которых завершилась с ошибкой

шт

count (количество)

reactive.stream.adapter:name=producerSendMessageError,type=meters count

MeanMessageProcessTime

Среднее время обработки сообщения при отправке

мс

Mean (среднее время)

reactive.stream.adapter:name=messageProcessTime,type=timers Mean

MeanMessageAcknowledgeTime

Среднее время получения подтверждения отправки сообщения

мс

Mean (среднее время)

reactive.stream.adapter:name=messageAcknowledgeTime,type=timers Mean

EgressProducerSendMessageError

Количество сообщений, отправка которых завершилась с ошибкой через gRPC/REST

шт

OneMinuteRate (скорость записи за последнюю минуту)

reactive.stream.adapter:name=egressProducerSendMessageError,type=meters OneMinuteRate

EgressMessageAcknowledgeTime

Время получения подтверждения отправки сообщения через gRPC/REST

мс

OneMinuteRate (скорость записи за последнюю минуту)

reactive.stream.adapter:name=egressMessageAcknowledgeTime,type=timers OneMinuteRate

EgressMeanMessageAcknowledgeTime

Среднее время получения подтверждения отправки сообщения через gRPC/REST

мс

Value (изменение среднего времени)

reactive.stream.adapter:name=egressMeanMessageAcknowledgeTime,type=gauges Value

ConsumerReceiveMessages

Количество полученных сообщений

шт

OneMinuteRate (скорость записи за последнюю минуту)

reactive.stream.adapter:name=consumerReceiveMessages,type=timers OneMinuteRate

ConsumerErrorsCount

Количество ошибок при приеме сообщений

шт

count (количество)

reactive.stream.adapter:name=consumerErrors,type=meters count

ConsumerProcessBatch

Среднее время обработки пачки принятых сообщений

мс

Mean (среднее время)

reactive.stream.adapter:name=consumerProcessBatch,type=timers Mean

ConsumerWaitDeliver

Среднее время между приемом сообщений и началом их отправки

мс

Mean (среднее время)

reactive.stream.adapter:name=consumerWaitDeliver,type=timers Mean

EgressConsumerReceiveMessagesOneMinuteRate

Количество полученных сообщений, прошедших через gRPC/REST

шт

OneMinuteRate (скорость записи за последнюю минуту)

reactive.stream.adapter:name=egressConsumerReceiveMessages,type=meters OneMinuteRate

EgressConsumerProcessBatch

Время обработки пачки принятых сообщений через gRPC/REST

мс

OneMinuteRate (скорость записи за последнюю минуту)

reactive.stream.adapter:name=egressConsumerProcessBatch,type=timers OneMinuteRate

EgressConsumerWaitDeliver

Время между приемом сообщений и началом их отправки через gRPC/REST

мс

OneMinuteRate (скорость записи за последнюю минуту)

reactive.stream.adapter:name=egressConsumerWaitDeliver,type=timers OneMinuteRate

org.apache.flink.jobmanager.Status.JVM.CPU.Loadru

Загрузка CPU

Если максимальное значение больше 80% - предупреждение, 90% - ошибка

host=tkles-snaps0001.vm.esrt.cloud.ru

от 0 до 1

org.apache.flink.jobmanager.Status.JVM.Memory.Heap.Used

Использование MemoryHeap

байт

host=tkles-snaps0001.vm.esrt.cloud.ru

Если максимальное значение больше 80% - предупреждение, 90% - ошибка

org.apache.flink.jobmanager.Status.JVM.Memory.Heap.Max

Максимальное кол-во памяти, доступное JVM

байт

host=tkles-snaps0001.vm.esrt.cloud.ru

Должно быть не больше 10Gb

org.apache.flink.jobmanager.numRegisteredTaskManagers

Кол-во зарегистрированных task-manager

шт

host=tkles-snaps0001.vm.esrt.cloud.ru

Не должно меняться

org.apache.flink.jobmanager.taskSlotsAvailable

Кол-во свободных слотов

шт

host=tkles-snaps0001.vm.esrt.cloud.ru

-

org.apache.flink.taskmanager.Status.JVM.CPU.Load

Загрузка CPU task-manager

байт

host=tkles-snaps0001,tm_id=104af92d2483545

Если максимальное значение больше 80% - предупреждение, 90% - ошибка

org.apache.flink.taskmanager.Status.JVM.Memory.Heap.Used

Используемая память

байт

host=tkles-snaps0001,tm_id=104af92d2483545043b193c1805f02e0

Если максимальное значение больше 80% - предупреждение, 90% - ошибка

org.apache.flink.taskmanager.Status.JVM.Memory.Heap.Max

Максимальное кол-во памяти, которое может быть использовано

байт

host=tkles-snaps0001,tm_id=104af92d2483545043b193c1805f02e0

Должно быть не больше 10Gb

org.apache.flink.jobmanager.job.restartingTime

Сколько времени занимает перезапуск службы, или как долго длится текущий перезапуск

мс

host=tkles-snaps0001.vm.esrt.cloud.ru, job_name=AppTest,job_id=effdc9639a698236fadf1091fc132fca

Не больше 10 сек

org.apache.flink.jobmanager.job.downtime

Время недоступности службы

мс

host=tkles-snaps0001.vm.esrt.cloud.ru,job_name=ALPHA.COMMON.ESBSM.XFERSYNC,job_id=2b005e66b405382d85b0c5b0d0bfaef8

Должно быть равно 0

org.apache.flink.jobmanager.job.numberOfFailedCheckpoints

Кол-во неуспешных проверок

шт

host=tkles-snaps0001.vm.esrt.cloud.ru,job_name=ALPHA.COMMON.ESBSM.XFERSYNC,job_id=2b005e66b405382d85b0

Не должно увеличиваться

Shuffle.Netty.Output.Buffers outputQueueLength

Кол-во выходных сообщений в очереди

шт

-

Не должно увеличиваться

input Пример 0.event-flow-transformation-transformationStepName.input для трансформацииПример 0.event-flow-aggregation-transformationStepName.input для агрегации

Количество входящих событий

шт

-

Должно увеличиваться

reject Пример 0.event-flow-transformation-transformationStepName.reject для трансформацииПример 0.event-flow-aggregation-transformationStepName.reject для агрегации

Количество отфильтрованных событий

шт

-

Должно увеличиваться