Настройка мониторинга с помощью fluent-bit, kafka, druid и grafana#

Настройка мониторинга с помощью fluent-bit, kafka, druid и grafana

Запись метрик из SyTester в файл#

Для отправки метрик, в тестовом плане значение параметра sendMetricsToKafka должно быть true, а в параметре metricsServiceName должно быть желаемое имя для метрики.

SyTester отправляет в файл сообщение со следующими парамерами:

Параметры

Описание

timestamp

Время и дата в формате "yyyy-MM-dd'T'HH:mm:ss'Z'"

name

Имя указанное в metricsServiceName в тестовом плане

status

Код ответа/ошибки

rnd

Случайное число

sla

Время ожидания ответа в миллисекундах

Настройка fluent-bit#

Пример настройки fluent-bit с SyTester можно посмотреть тут

Развертывание Kafka#

  1. Установите Kafka(подробнее в разделе "Руководство по установке" подраздел "Установка".

  2. Измените конфигурационные файлы server.properties и zookeeper.properties так, чтобы kafka и zookeeper не пересекались с druid и были доступны из вне.

  3. Запустите сервисы zookeeper и kafka в таком порядке:

sudo systemctl start zookeeper.service
sudo systemctl start kafka.service

  1. Создайте topic(s) и меняем время хранения сообщений(имя topic(s) нужно указать в конфигурационном файле SyTester, см. выше)

Развертывание Druid#

  1. Установите Druid(подробнее в разделе "Руководство по установке" подраздел "Установка".

  2. Запустите druid

sudo systemctl start druid.service

  1. Настройте datasource's:

Открываем ui druid и последовательно выполняем следующие действия:

  • Нажмите на вкладку Load data

  • Нажмите Start a new spec

  • Выберите Apache Kafka

  • Нажмите Connect data

  • Заполните поля Bootstrap servers и Topic

  • Нажмите apply(если вы все правильно заполнили, то данные подтянутся из topic(s) Kafka)

  • Нажмите Parse data

  • Нажмите Parse time → Transform → Filter → Configure schema

  • Измените типы для полей rnd на long и sla на double

  • Нажмите Partition

  • Выберите Segment granularity

  • Нажмите Tune

  • Укажите правило для offset

  • Нажмите Publish

  • Укажите имя datasource

  • Нажмите Edit Spec

  • Нажмите Submit

  1. Настройте retention rules

Настройка Grafana#

  1. Разверните grafana (подробнее в разделе "Руководство по установке" подраздел "Установка".

  2. Перейдите в ui grafana

  3. Перейдите в аккаунт администратора

  4. Настройте связку с druid:

Последовательно выполняем следующие действия:

  • Нажмите на Configuration

  • Выберите и нажмите Data sources

  • Нажмите Add new data source

  • Найдите и нажмите Druid

  • Заполните URL http://druid_host:8888

  • Нажмите Save & test

  1. Добавьте queries:

  • Нажмите Build a dashboard

  • Нажмите Add a new panel

  • Добавьте нужный запрос

  • Нажмите apply