События мониторинга#

Archiving реализует метрики, которые отражают общие показатели работы сервиса и отдельных модулей Archiving в контексте определенного источника. Для передачи метрик конечной системе используется Kafka — метрики публикуются в специальном топике либо компонентом «Объединенный мониторинг Unimon» (MONA) продукта Platform V Monitor (OPM) либо системой Custodian.

Все метрики всегда формируются в разрезе источника данных и, в зависимости от метрики, добавляются дополнительные разрезы, которые делятся на следующие типы:

• source — источник (мнемоника источника, эквивалентна наименованию);

• channel — модуль Archiving, соответствующий потоку данных (Init, ТКД online, ТКД offline, DRP);

• type — тип данных (класс Java);

• loadingId — уникальный идентификатор сеанса загрузки;

• ЕrrorClass — класс по классификатору ошибок.

Подключение компонента «Объединенный мониторинг Unimon» (MONA) продукта Platform V Monitor (OPM)#

Для интеграции с компонентом MONA:

1. Настройте endpoind — в конфигурационный файл добавьте свойтва:

   management:
   ⁣ ⁣endpoints:
   ⁣ ⁣ ⁣ ⁣web:
   ⁣ ⁣ ⁣ ⁣ ⁣ ⁣exposure:
   ⁣ ⁣ ⁣ ⁣ ⁣ ⁣ ⁣ ⁣include: prometheus,health,info
   ⁣ ⁣metrics:
   ⁣ ⁣ ⁣ ⁣export:
   ⁣ ⁣ ⁣ ⁣ ⁣ ⁣prometheus:
   ⁣ ⁣ ⁣ ⁣ ⁣ ⁣ ⁣ ⁣enabled: true
   

2. В конфигурационном файле prometheus.yaml заполните параметры:

   • global.⁣scrape_interval — частота забора метрик (в секундах) по умолчанию;

   • scrape_configs.⁣metrics_path — ⁣HTTP путь до endpoint. Всегда равен /actuator/prometheus;

   • scrape_configs.⁣scrape_interval — частота забора метрик (в секундах);

   • scrape_configs.⁣static_configs.targets — массив, содержащий IP адреса и порты модулей Archiving, отправляющих метрики.

3. Для сбора метрик добавьте Bean в spring-boot контекст приложения:

   @Bean
   public TsaMonitoringService tsaMonitoringService(MeterRegistry meterRegistry) {
   ⁣ ⁣ ⁣ ⁣return new MicrometerMonitoringService(meterRegistry);
   }
   

Базовые метрики (все модули и потоки)#

Метрики offline ТКД и DRP#

Метрики формируют модули ТКД и DRP: pprbod-data-quality-processor, pprbod-offline-dq-collector-v4.

Примечание:

Метрики arch-journal.dq.objects_received и arch-journal.async_process_object.count, означающие количество запрошенных объектов от источника и количество отправленных контейнеров КАП в разрезе ТКД, могут отличаться. Основной причиной является получение пустого списка объектов после фильтрации по исходным ключам (запрошенным КАП) и неотправка в КАП пустого контейнера. Также возможно получение пустого списка объектов после фильтрации по белому списку с аналогичным действием. Другая возможная причина — закрытие сессии ТКД по таймауту до обработки всех данных, полученных от источника, что может случиться только в результате сбоя или плохой работоспособности трактов.

Init в любом модуле (универсальные модули Init или модули конкретных источников)#