Настройка Solr Exporter#

Описание#

Solr Exporter является java приложением, которое поставляется в установщике Solr.

Управление Solr Exporter осуществляется c помощью Cloudera через роль Solr Exporter в parcel Solr.

Для мониторинга instance Solr, работающих в кластере, достаточно одного instance Solr Exporter, потому что Solr Exporter собирает информацию со всех Solr через Zookeeper.

Схема взаимодействия компонентов#

Схема взаимодействия компонентов

  1. Solr-exporter осуществляет:

    1. забор данных из Solr с помощью ZooKeeper.

  2. Telegraf осуществляет:

    1. забор данных в формате Prometheus;

    2. преобразование данных в формат JSON;

    3. отправку данных в Kafka (в предварительно созданный топик).

  3. Druid осуществляет:

    1. забор данных из Kafka (с помощью предварительно созданного аналитического индекса);

    2. предоставление данных в dashboards.

Описание установки#

Предварительно требуется: /documents/release-notes-details/release-notes-details-monitoring-requests.md

  1. Создать топик в соответствии с инструкцией Топики;

  2. Создать аналитический индекс в соответствии с инструкцией Аналитический индекс;

  3. Настроить вычитку данных из топика в созданный индекс;

  4. Создать необходимый Datasource в режиме Abyss в соответствии с инструкцией, расположенной Indicator -> Пошаговые инструкции -> Добавление источника данных.

Параметры настройки Solr Exporter#

№

Код параметра

Название параметра

Описание

Значение по умолчанию

1

solr_exporter.port

solr exporter port

Порт Solr Exporter

9854

2

solr_exporter.num_threads

solr exporter number of threads

Количество потоков Solr exporter

8

3

solr_exporter.scrape_interval

solr exporter scrape interval

Частота сбора метрик Solr exporter

30

4

solr_exporter_config_file

solr exporter config file

Файл настроек Solr exporter

5

solr_exporter.keyStore_location

solr exporter keyStore file

Расположения файла хранилища сертификатов keyStore Solr exporter

6

solr_exporter.keystore_password

solr exporter ssl keystore password

Пароль для хранилища сертификатов keyStore Solr exporter

7

solr_exporter.truststore_location

solr exporter config file

Расположения файла хранилища сертификатов ssl truststore Solr exporter

8

solr_exporter.truststore_password

solr exporter ssl truststore password

Пароль к хранилищу сертификатов ssl truststore Solr exporter

9

zookeeper_quorum

zooKeeper hosts

Название ZooKeeper сервисов, к которым относятся instances сервисов Tengri Solr

10

zookeeper_znode

zooKeeper Znode

Узел в zookeeper для хранения информации о текущем сервисе Solr

/solr

11

service.metrics.config-dir

service metrics config-dir

Путь до директории конфигурации, в который записывается содержимое параметра-шаблона metrics_config

12

service.metrics.label

service metrics

Метка сервиса в сообщениях, для определения откуда пришли метрики

solr

13

service.metrics.collect.interval

service metrics collect interval

Интервал сбора метрик

14

service.metrics.batch_size

service metrics batch_size

Размер отправляемой пачки сообщений с метриками

15

service.metrics.buffer_limit

service metrics buffer_limit

Размер буфера метрик. Увеличение данного параметра позволяет увеличить периодичность отправок метрик на сервер, но также увеличивает расход памяти.

16

service.metrics.flush_interval

service metrics flush_interval

Интервал публикации метрик в Kafka

17

service.metrics.client.ssl.skip-verify-hosts

service metrics client ssl skip-verify-hosts

Параметр выключающий проверку сертификата хоста при установлении SSL соединения с endpoint Actuator сервиса

18

service.metrics.kafka.topic

service metrics kafka topic

Топик для публикации метрик

abyss.solr-metrics

19

service.metrics.kafka.bootstrap-servers

service metrics kafka bootstrap-servers

Список Kafka брокеров (список должен содержать больше, чем одного брокера для большей доступности, но не обязательно перечислять их всех). Формат: hostname1:port1,hostname2:port2.

20

service.metrics.kafka.group-id

service metrics kafka group-id

Идентификатор группы для Kafka-producer

21

service.metrics.kafka.acks

service metrics kafka acks

Конфигурация подтверждений:
0 - producer никогда не ждет подтверждения от брокера;
1 - получает подтверждение после того, как реплика лидера получила данные;
-1 - получает подтверждение после того, как все синхронизированные реплики получили данные.

22

service.metrics.kafka.compression_codec

service metrics kafka compression_codec

Конфигурация сжатия:
0 - None;
1 - Gzip;
2 - Snappy;
3 - LZ4;
4 - ZSTD.

23

service.metrics.kafka.max_message_bytes

service metrics kafka max_message_bytes

Максимально допустимый размер сообщения. Должно быть меньше или равно, чем значение параметра message.max.bytes в Kafka.

24

service.metrics.kafka.ssl.tls_ca

service metrics kafka ssl tls_ca

Путь до корневого сертификата в формате PEM, используемого при установлении соединения с Kafka

25

service.metrics.kafka.ssl.tls_cert

service metrics kafka ssl tls_cert

Путь до клиентского сертификата в формате PEM, используемого при установлении соединения с Kafka

26

service.metrics.kafka.ssl.tls_key

service metrics kafka ssl tls_key

Путь до ключа от сертификата в формате PEM, используемого при установлении соединения с Kafka

27

service.metrics.kafka.ssl.skip-verify-hosts

service metrics kafka ssl skip-verify-hosts

Параметр выключающий проверку сертификата хоста при установлении SSL соединения c Kafka

28

service.metrics.kafka.ssl.enabled

service metrics kafka ssl enabled

Включение/Выключение SSL при установлении соединения с Kafka

29

service.metrics.kafka.data_format

service metrics kafka data_format

Формат сообщений отправляемых в Kafka

30

service.metrics.kafka.data_format.template

service metrics kafka data_format template

Шаблон сообщений отправляемых в Kafka в формате GO template (используется только, если data_format = template)

31

service.metrics.kafka.minimal_version

service metrics kafka version

Минимальная поддерживаемая версия Kafka (определяет используемую версию API)

2.0.0

32

solr_zookeeper_acl_enabled

Znode ACL auto set when created

Auto set zookeeper znode acl to current x509 certificate DN when created

33

zookeeper.ssl.enabled

Zookeeper ssl enabled

Zookeeper ssl enabled

true

34

descriptionZookeeper ssl host verification

Zookeeper ssl hostname verification

Zookeeper ssl hostname verification

35

zookeeper.ssl.client.cnxn.socket

Zookeeper ssl client cnxn socket

Zookeeper ssl client cnxn socket

36

zookeeper.ssl.client.trustStore.location

Zookeeper ssl truststore location

Расположение хранилища сертификатов ssl truststore для подключения к сервису Zookeeper

37

zookeeper.ssl.client.trustStore.password

Zookeeper ssl truststore password

Пароль к хранилищу сертификатов ssl truststore для подключения к сервису Zookeeper

38

zookeeper.ssl.client.keyStore.location

Zookeeper ssl keystore location

Расположение хранилища сертификатов keystore для подключения к сервису Zookeeper

39

zookeeper.ssl.client.keyStore.password

Zookeeper ssl keystore password

Пароль к хранилищу сертификатов keyststore для подключения к сервису Zookeeper

40

solr_exporter_basic_auth_enabled

Solr exporter basic auth enabled

Включение/отключение использования Basic Auth

true

41

descriptionUser for basic Auth

Http BasicAuth User

Имя пользователя для Basic Auth (аналогичный пользователю в Solr)

42

httpBasicAuthPassword

Http BasicAuth Password

Пароль для Basic Auth (аналогичный пользователю в Solr)