Настройка расширенных отчетов с помощью Fluent Bit, Kafka, Druid и Grafana#

Настройка мониторинга с помощью Fluent Bit, Kafka, Druid и Grafana

Настройка Fluent Bit#

Настройка Fluent Bit осуществляется путем изменения values.yml.
Инструкция по включению компонента представлена в «Руководстве по установке», подраздел «3. Компонент «Журналирование» (LOGA)».

Развертывание Kafka#

  1. Установите Kafka (подробнее в разделе «Руководство по установке» подраздел «8. Установка компонентов для мониторинга»).

  2. Измените конфигурационные файлы server.properties и zookeeper.properties так, чтобы Kafka и Zookeeper не пересекались с Druid и были доступны из вне.

  3. Запустите сервисы Zookeeper и Kafka в следующем порядке:

sudo systemctl start zookeeper.service
sudo systemctl start kafka.service

  1. Создайте топик и настройте время хранения сообщений (имя топика нужно указать topicname в values.yml, см. выше)

Развертывание Druid#

  1. Установите Druid (подробнее в разделе «Руководство по установке» подраздел «8. Установка компонентов для мониторинга»).

  2. Запустите Druid

sudo systemctl start druid.service

  1. Настройте datasource’s:

Открываем ui druid и последовательно выполняем следующие действия:

  • Нажмите на вкладку Load data

  • Нажмите Start a new spec

  • Выберите Apache Kafka

  • Нажмите Connect data

  • Заполните поля Bootstrap servers и Topic

  • Нажмите apply (если вы все правильно заполнили, то данные подтянутся из топика Kafka)

  • Нажмите Parse data

  • Нажмите Parse time → Transform → Filter → Configure schema

  • Измените типы для полей rnd на long и sla на double

  • Нажмите Partition

  • Выберите Segment granularity

  • Нажмите Tune

  • Укажите правило для offset

  • Нажмите Publish

  • Укажите имя datasource

  • Нажмите Edit Spec

  • Нажмите Submit

  1. Настройте retention rules

Развертывание Grafana#

  1. Разверните Grafana (подробнее в разделе «Руководство по установке» подраздел «8. Установка компонентов для мониторинга»).

  2. Перейдите в UI Grafana

  3. Перейдите в аккаунт администратора

  4. Настройте связку с Druid:

Последовательно выполняем следующие действия:

  • Нажмите на Configuration

  • Выберите и нажмите Data sources

  • Нажмите Add new data source

  • Найдите и нажмите Druid

  • Заполните URL http://druid_host:8888

  • Нажмите Save & test

  1. Добавьте queries:

  • Нажмите Build a dashboard

  • Нажмите Add a new panel

  • Добавьте нужный запрос

  • Нажмите apply