Мониторинг#

Основной задачей мониторинга является отслеживание критически важных атрибутов системы и оповещение администраторов при наличии проблем.

Помимо мониторинга работы OLAP рекомендуется производить мониторинг JVM и ОС, в рамках которых происходит запуск OLAP.

Внимание

В дистрибутив компонента OLAP не включена система мониторинга. Указанная на диаграмме системы мониторинга, внешняя или внутренняя (агент), должна иметь возможность читать метрики в указанном формате.

Настройка#

Система включает в себя следующие стандартные endpoints Spring Boot Actuator:

Endpoint

Описание

{protocol}://{host}:{port}/kylin/api/info

Версия дистрибутива

{protocol}://{host}:{port}/kylin/api/metrics

Список метрик, без значений

{protocol}://{host}:{port}/kylin/api/prometheus

Значения всех метрик в формате Prometheus

{protocol}://{host}:{port}/kylin/api/health

Краткая информация о работоспособности компонента

  • {protocol} — протокол (например: http, https);

  • {host} — IP адрес или символьное имя;

  • {port} — порт сервера компонента OLAP. Для всех endpoint используется один и тот же порт.

Основные метрики OLAP совпадают с метриками Apache Kylin. В подразделах ниже описываются дополнительные метрики.

Метрики#

Метрики сессий#

Метрика

Описание

spring_authorization_failures_total

Общее количество ошибок авторизации при создании новой сессии

spring_sessions_current

Текущее количество сессий.
Метрика не позволяет отследить состояние сессий в режиме аутентификации OID, так как управление сессиями выполняется на стороне компонента IAM Proxy

spring_sessions_total

Общее количество созданных сессий с начала старта систем.
Метрика не позволяет отследить состояние сессий в режиме аутентификации OID, так как управление сессиями выполняется на стороне компонента IAM Proxy

Метрики по взаимодействию с Platform V Monitor#

Метрика

Описание

audit_se_fail_send_event_counter

Число ошибок отправки в Platform V Monitor

audit_se_success_send_event_counter

Число успешно отправленных событий в Platform V Monitor

Метрики сервис-провайдера SCIM#

Важно

Для получения значения метрик отфильтруйте полученные метрики по значению тега uri, начинающемуся с /api/SCIM.

Пример полученных значений для метрики http_server_requests_seconds_count:

http_server_requests_seconds_count{application="olap",exception="None",method="DELETE",outcome="SUCCESS",status="204",uri="/api/SCIM/Users/{id}",} 2.0
http_server_requests_seconds_count{application="olap",exception="None",method="POST",outcome="SUCCESS",status="201",uri="/api/SCIM/Users",} 2.0

Метрика

Описание

http_server_requests_seconds_count, тег status имеет любое значение

Общее количество запросов в разбивке по методам API SCIM сервис-провайдера

http_server_requests_seconds_count, тег status соответствует маске 4XX или 5XX, где Х — любое число от 0 до 9

Общее количество ошибок обработки запросов в разбивке по методам API SCIM сервис-провайдера

Мониторинг заданий#

Виды заданий#

В web-интерфейсе компонента OLAP имеется модуль мониторинга заданий, который позволяет пользователям просматривать соответствующую информацию и выполнять задания по списку.

Задание строится в процессе использования компонента, например, при построении индекса, обновлении данных исходной таблицы и т.д.

Существуют следующие типы заданий：

Задание

Описание

Примечание

Построение индекса

Задание на создание нового индекса

При создании модели во вкладке Активы данных → Модель запустится задание на создание индекса

Загрузка данных

Задание на инкрементную загрузку данных по существующим моделям/индексам

При создании модели во вкладке Активы данных → Модель загрузка данных в пределах временного диапазона модели приведет к запуску задания

Слияние данных

Задание на объединение сегментов

Когда система обнаружит достаточное количество сегментов, она автоматически запустит задание на объединение данных. Параметры объединения сегментов можно задать на панели навигации Setting → Segment Settings

Обновление данных

Задание на обновление сегментов

При создании модели во вкладке Активы данных → Модель обновление данных указанного сегмента в указанной модели приведет к запуску задания

Выборка данных таблицы

Задание на выборку таблиц

Это задание позволяет получить характеристики табличных данных. Задания выборки таблиц могут запускаться автоматически или вручную. Автоматически: задание автоматически запускается при добавлении источника данных на панели навигации Data Asset → Data Source. Вручную: задание на выборку таблицы можно вызвать на панели навигации Data Asset → Data Source. Для запуска такого рода заданий нажмите кнопку Sample или Reload

Построение снимка

Задание на создание новых моментальных снимков

Это задание появляется только при ручном добавлении моментального снимка после включения управления моментальными снимками

Обновление снимка

Задание на обновление снимков

Это задание появляется только при ручном обновлении моментального снимка после включения управления моментальными снимками

Построение данных субпартиции

Задание на загрузку данных о субпартициях многоуровневой модели партиций

Модель представляет собой многоуровневую модель партиций, задание на загрузку данных субпартиций

Обновление данных субпартиции

Задание на обновление данных субпартиций многоуровневой модели партиций

Многоуровневая модель партициирования, задание на обновление данных в субпартициях

Загрузка данных в многоуровневое хранилище

Задание на загрузку данных о существующих моделях в многоуровневое хранилище

—

Удаление многоуровневого хранилища — проект

Задание на удаление загруженных данных проектов из многоуровневого хранилища

—

Удаление многоуровневого хранилища — модель

Задание на удаление загруженных данных моделей из многоуровневого хранилища

—

Удаление многоуровневого хранилища — сегмент

Задание на удаление загруженных данных сегментов из многоуровневого хранилища

—

Удаление многоуровневого хранилища — индекс

Задание на удаление из многоуровневого хранилища загруженных данных индекса базовой таблицы

—

Детали задания можно просмотреть на панели навигации Мониторинг → Пакетное задание.

Нажмите на треугольную кнопку слева, чтобы развернуть и просмотреть детали задания.

В число таких элементов входят шаги задания, время ожидания и время выполнения, вывод журнала, параметры задания и т.д.

Статусы заданий#

Задание имеет следующие 6 статусов：

  • В ОЖИДАНИИ：статус означает ожидание запланированного выполнения.

  • ВЫПОЛНЯЕТСЯ：статус означает нормальное выполнение задания. Можно просмотреть ход выполнения, прогресс отображается в процентах.

  • ПРИОСТАНОВЛЕНО：статус показывает, что выполнение задания приостановлено.

  • ОШИБКА：если задание столкнулось с проблемой, которая не может быть решена, в web-интерфейсе отобразится статус ошибки.

  • ОТМЕНЕНО：статус сообщает о прекращении выполнения. При этом завершенное задание немедленно останавливается и освобождает все ресурсы.

  • ЗАВЕРШЕНО：задание завершено нормально.

Информацию о статусе задания можно просмотреть в интерфейсе Мониторинг → Пакетное задание.

Действия с заданиями#

С заданиями можно выполнять следующие действия:

  • возобновить — начать с промежуточного этапа задания и продолжить его выполнение.

    Примечание

    Если задание находится в состоянии ошибки, пользователь должен устранить неполадки или решить проблему, а затем повторить выполнение с помощью этой операции.

  • перезапустить — применить результаты промежуточных шагов, повторно выполнить задание с самого начала.

    Примечание

    Для задания в статусе ошибки, если изменились объекты выполнения, например, изменилась схема исходной таблицы, рекомендуется перезапустить задание. При этом записи о заданиях, выполняемых до этого времени, будут удалены и перезапущено новое задание.

  • приостановить — временно остановить текущее задание и освободить все связанные с ним ресурсы;

  • отменить — отменить задание и освободить все связанные с ним ресурсы.

    Примечание

    После отмены задание не может быть отменено или восстановлено путем перезапуска.

  • удалить — удалить задание;

  • обновить список — обновить информацию о списке заданий.