Общая конфигурация сервисов Coordinator#

Параметры из этого раздела необходимо указать во всех service descriptors сервисов Abyss:

  • Archive service;

  • Client Api service;

  • Flow service;

  • Full text index service;

  • Kafka service;

  • Monitoring service;

  • PVM base service;

  • PVM authorization service;

  • Trace collector service;

  • Trace query service.

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

server.jetty.threads.max

Максимально разрешенное количество потоков к серверу

long

200

нет

service.java.home

Переменная окружения, указывающая на директорию с установленным JDK. Переопределяет значение JAVA_HOME для компонента

string

-

Да

Параметры соединения с Secret Management:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

spring.cloud.vault.app-role.app-role

App role для аутентификации

string

-

нет

spring.cloud.vault.app-role.path

Path для app-role аутентификации

string

approle

нет

spring.cloud.vault.app-role.role-id

Role id для аутентификации

password

-

нет

spring.cloud.vault.app-role.secret-id

Secret id для аутентификации

password

-

нет

spring.cloud.vault.authentication

Тип аутентификации в vault. Возможные варианты: - token, - kubernetes, - app-role

string

app-role

нет

spring.cloud.vault.certificates.ttl

Время жизни сертификата в формате ISO8601 (подробнее описано в документе Hot-reload секретов)

string

P30D

нет

spring.cloud.vault.enabled

Включение использования vault

boolean

false

нет

spring.cloud.vault.namespace

Namespace секретов vault

string

-

нет

spring.cloud.vault.uri

URI хранилища с секретами vault

string

-

нет

spring.cloud.vault.connection-timeout

Время ожидания подключения в миллисекундах

long

5000

нет

spring.cloud.vault.read-timeout

Время ожидания чтения в миллисекундах

long

15000

нет

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

pvm.system.security.ssl.ca-certificates

Путь к сертификату CA (или сертификат CA)

string

-

нет

pvm.system.security.ssl.certificate-alt-names

Список полных доменных имен (Fully Qualified Domain Names) для альтернативных имен в SSL-сертификатах системы PVM. Формат hostname1,hostname2,…

string

-

нет

pvm.system.security.ssl.certificate-ip-sans

Список IP SANов (Subject Alternative Names) для SSL-сертификатов в системе PVM. Формат ip1,ip2,…

string

-

нет

Важно: Значения для параметров сервисов являющихся секретами и их атрибутов «Значение по умолчанию», «Обязательность» остаются прежними, но теперь также для этих параметров можно указывать значения в виде нотации секрета при включенном режиме интеграции Secret Management.

Параметры базы данных:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

spring.datasource.url

JDBC URL для подключения к БД. Формат: jdbc:postgresql://localhost:5432/db

string

-

да

spring.datasource.username

Имя пользователя для подключения к БД

string

см. раздел конфигурации сервиса

нет

spring.datasource.password

Пароль для подключения к БД

secret

-

нет

spring.datasource.type

Тип источника данных при подключении к БД. По умолчанию используется com.zaxxer.hikari.HikariDataSource. Если пул не требуется, используйте org.springframework.jdbc.datasource.DriverManagerDataSource.

string

com.zaxxer.hikari.HikariDataSource

нет

Параметры Flyway пользователя:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

spring.flyway.user

Имя flyway пользователя для подключения к БД

string

см. раздел конфигурации сервиса

нет

spring.flyway.password

Пароль flyway пользователя для подключения к БД

secret

-

нет

Дополнительные параметры для настройки HikariDataSource:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

spring.datasource.hikari.connection-timeout

Таймаут получения соединения из пула соединений. К таймауту может приводить длительное подключение к БД или отсутствие свободных соединений в пуле. Задается в миллисекундах. Минимальное допустимое значение 250 ms. (если spring.datasource.type = com.zaxxer.hikari.HikariDataSource)

long

30000

нет

spring.datasource.hikari.minimum-idle

Минимальное количество неиспользованных (свободных) соединений, которое пул соединений должен поддерживать. Не рекомендуется устанавливать данный параметр, и использовать пул фиксированного размера когда задается только maximum-pool-size. По умолчанию равно maximum-pool-size. (если spring.datasource.type = com.zaxxer.hikari.HikariDataSource)

long

6

нет

spring.datasource.hikari.maximum-pool-size

Максимальный размер пула соединений (если spring.datasource.type = com.zaxxer.hikari.HikariDataSource)

long

6

нет

spring.datasource.hikari.idle-timeout

Таймаут нахождения неиспользованного соединения в пуле соединений. Применяется только при установленном параметре minimum-idle, меньшим чем maximum-pool-size. Задается в миллисекундах. Минимальное допустимое значение 10000ms (10 seconds). (если spring.datasource.type = com.zaxxer.hikari.HikariDataSource)

long

300000

нет

spring.datasource.hikari.max-lifetime

Максимальное время жизни соединения в пуле. Используемые соединения не закрываются при достижении данного значения. Рекомендуется обязательно устанавливать и использовать значение на несколько секунд меньше чем таймаут используемой БД. Задается в миллисекундах. Минимальное допустимое значение 30000ms (30 seconds). (если spring.datasource.type = com.zaxxer.hikari.HikariDataSource)

long

1200000

нет

spring.datasource.hikari.leak-detection-threshold

Время, по истечении которого соединение, находящееся в использовании считается для пула потерянным (не будет возвращено в пул). Для такого соединения формируется запись в журнале. Задается в миллисекундах. (если spring.datasource.type = com.zaxxer.hikari.HikariDataSource)

long

0

нет

spring.datasource.hikari.allow-pool-suspension

Включает возможность остановки пула соединений (может потребоваться для дианостики нештатной работы подключения сервисов Abyss к бд)

boolean

true

нет

Важно: Значения для параметров сервисов являющихся секретами и их атрибутов «Значение по умолчанию», «Обязательность» остаются прежними, но теперь также для этих параметров можно указывать значения в виде нотации секрета при включенном режиме интеграции Secret Management. Важно: При отключении режима интеграции с Secret Management все параметры являющиеся секретами, которые в качестве значения содержат ссылку в Secret Management теперь будут использовать указанную ссылку в качестве конечного значения. Поэтому необходимо перенастроить все параметры являющиеся секретами на конечные значения

Параметры Java:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

service.java.home

Переменная окружения, указывающая на директорию с установленным JDK. Переопределеяет значение JAVA_HOME для компонента.

string

-

нет

Параметры заголовков HTTP запросов

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

server.max-http-header-size

Максимально разрешенный размер заголовка HTTP запроса

string

32KB

нет

Параметры внутреннего взаимодействия сервисов:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

common.internal-communication.max-retries

Максимальное количество попыток отправить запрос

int

2

нет

common.internal-communication.data-center-id

Идентификатор дата центра

string

DC1

нет

Параметры логирования:

Стандартные параметры настройки логирования Cloudera Manager (log_dir, max_log_size, log_threshold, max_log_backup_index,) будут проигнорированы.

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

logger.kafka.bootstrap-servers

Список Kafka брокеров для отправки логов. Список должен содержать больше, чем одного брокера для большей доступности, но не обязательно перечислять их всех. Формат: hostname1:port1,hostname2:port2.

string

-

нет

logger.kafka.topic

Имя топика Kafka, где будут храниться логи

string

abyss.coordinator-logs

нет

logger.directory

Директория, в которой будут храниться логи сервиса

string

/var/log/abyss

нет

logger.file-size

Размер лог файла

string

100MB

нет

logger.max-file-amount

Максимальное число файлов логов на сервере

long

10

нет

logger.kafka.level

Уровень логирования в Kafka. Возможные значения:

string_enum

INFO

нет

- ALL;

- TRACE;

- DEBUG;

- INFO;

- WARN;

- ERROR;

- OFF.

logger.file.level

Уровень логирования в файл. Возможные значения:

string_enum

INFO

нет

- ALL;

- TRACE;

- DEBUG;

- INFO;

- WARN;

- ERROR;

- OFF.

Параметры Discovery:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

common.discovery.type

Определяет, каким способом будет происходить регистрация сервисов, с помощью ZooKeeper или же статически, используя готовый список хостов. Возможные значения: STATIC/ZOOKEEPER.

string_enum

ZOOKEEPER

нет

common.discovery.zookeeper.connection

Список серверов ZooKeeper для подключения. Формат: hostname1:port1,hostname2:port2.

string

-

да

common.discovery.zookeeper.retry-interval-ms

Интервал между попытками переподключения к ZooKeeper в миллисекундах

string

10000

нет

common.discovery.zookeeper.path

Znode в ZooKeeper, используемая в качестве корня для сервиса

string

/abyss

нет

common.discovery.zookeeper.acl-enabled

Включает автоустановку ACL на Znode для обнаружения сервисов

boolean

false

нет

common.discovery.zookeeper.leadership-enabled

Включает механизм выбора лидера в сервисе среди узлов кластера

boolean

true

нет

Параметры http-клиента:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

common.http.client.socket-timeout-ms

Тайм-аут сокета на клиенте. Максимальное ограничение бездействия между двумя пакетами в миллисекундах.

long

50000

нет

common.http.client.connect-timeout-ms

Сколько времени в миллисекундах поддерживать соединение для бездействующих соединений

long

50000

нет

common.http.client.eviction.interval-ms

Интервал, по истечении которого будут закрыты все бездействующие соединения

long

10000

нет

common.http.client.eviction.idle-sec

Время в секундах, по истечении которого при бездействии соединения закрываются

long

10000

нет

common.http.client.max-connections

Максимальное количество HTTP соединений

long

1000

нет

common.http.client.keep-alive-ms

Время в миллисекундах, в течении которого необходимо поддерживать соединение после того, как завершится первый запрос (добавлено для того, чтобы соединение могло переиспользоваться для нового запроса)

long

10000

нет

Параметры трейсинга:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

common.tracing.enabled

Включение/отключение функциональности трейсинга

boolean

false

нет

common.tracing.backend-url

URL сервера выполняющего сбор трейсов. Формат: scheme://host:port/api/v2/spans.

string

-

нет

common.tracing.sampling-percent

Количество трейсов в процентном отношении, которые будут отправлены на сервер сбора трейсов. Если был создан составной трейс, то он отправляется на сервер целиком. Возможные значения: 1-100.

long

100

нет

Параметры мониторинга:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

common.metric.distributionStatisticExpiry

Размер окна агрегации для расчета перцентилей в распределении, сек

long

15

нет

Параметры TLS для внутреннего взаимодействия:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

pvm.system.security.ssl.certificates.common-internal-communication.client-certificate

Путь к клиентскому сертификату (или клиентский сертификат) для межмодульного взаимодействия по SSL

secret

-

нет

pvm.system.security.ssl.certificates.common-internal-communication.overridden-by

Параметр, позволяющий установить значения параметров SSL контекста common-internal-communication из указанного SSL контекста

string

global

нет

pvm.system.security.ssl.certificates.common-internal-communication.private-key

Путь к приватному ключу (или приватный ключ) для межмодульного взаимодействия по SSL

secret

-

нет

pvm.system.security.ssl.certificates.common-internal-communication.private-key-password

Пароль от приватного ключа для межмодульного взаимодействия по SSL

secret

-

нет

pvm.system.security.ssl.certificates.common-internal-communication.verify-hosts

Параметр, включающий проверку сертификата хоста для межмодульного взаимодействия по SSL

boolean

false

нет

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

common.internal-communication.ssl.protocol

Протокол межмодульного взаимодействия, возможны три варианта:

string_enum

PLAINTEXT

нет

PLAINTEXT - вариант подключения без TLS,

SSL_WANT - опциональный TLS (если включен на модуле, к которому осуществляется подключение),

SSL_REQUIRED - подключение с TLS.

Глобальные настройки TLS для всего модуля:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

pvm.system.security.ssl.certificates.global.client-certificate

Путь к клиентскому сертификату (или клиентский сертификат) (глобальный для всего модуля)

secret

-

нет

pvm.system.security.ssl.certificates.global.private-key

Путь к приватному ключу (или приватный ключ) (глобальный для всего модуля)

secret

-

нет

pvm.system.security.ssl.certificates.global.private-key-password

Пароль от приватного ключа (глобальный для всего модуля)

secret

-

нет

pvm.system.security.ssl.certificates.global.verify-hosts

Параметр, включающий проверку сертификата хоста для доступа по SSL (глобальный для всего модуля)

boolean

false

нет

Настройки TLS для записи в аудит:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

pvm.system.security.ssl.certificates.audit-client.client-certificate

Путь к клиентскому сертификату (или клиентский сертификат) для доступа к COTE по SSL в формате PEM

string

-

нет

pvm.system.security.ssl.certificates.audit-client.enabled

Включение/выключение SSL для соединения с COTE

boolean

false

нет

pvm.system.security.ssl.certificates.audit-client.overridden-by

Параметр позволяющий установить значения параметров SSL контекста audit-client из указанного SSL контекста

string

global

нет

pvm.system.security.ssl.certificates.audit-client.private-key

Путь к приватному ключу (или приватный ключ) для доступа к COTE по SSL

string

-

нет

pvm.system.security.ssl.certificates.audit-client.private-key-password

Пароль от приватного ключа для доступа к COTE по SSL

password

-

нет

Настройки TLS для записи метамодели и событий аудита в Kafka:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

pvm.system.security.ssl.certificates.audit-kafka-client.client-certificate

Путь к клиентскому сертификату (или клиентский сертификат) для доступа к Kafka по SSL в формате PEM

string

-

нет

pvm.system.security.ssl.certificates.audit-kafka-client.enabled

Включение/выключение SSL для соединения с Kafka

boolean

false

нет

pvm.system.security.ssl.certificates.audit-kafka-client.overridden-by

Параметр, позволяющий установить значения параметров SSL контекста audit-kafka-client из указанного SSL контекста

string

global

нет

pvm.system.security.ssl.certificates.audit-kafka-client.private-key

Путь к приватному ключу (или приватный ключ) для доступа к Kafka по SSL

string

-

нет

pvm.system.security.ssl.certificates.audit-kafka-client.private-key-password

Пароль от приватного ключа для доступа к Kafka по SSL

password

-

нет

Настройки TLS для записи на сервер трейсов:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

pvm.system.security.ssl.certificates.common-tracing.client-certificate

Путь к клиентскому сертификату (или клиентский сертификат) для доступа к серверу выполняющему сбор трейсов по SSL в формате PEM

secret

-

нет

pvm.system.security.ssl.certificates.common-tracing.overridden-by

Параметр, позволяющий установить значения параметров SSL контекста common-tracing из указанного SSL контекста

string

global

нет

pvm.system.security.ssl.certificates.common-tracing.private-key

Путь к приватному ключу (или приватный ключ) для доступа к серверу выполняющему сбор трейсов по SSL

secret

-

нет

pvm.system.security.ssl.certificates.common-tracing.private-key-password

Пароль от приватного ключа для доступа к серверу выполняющему сбор трейсов по SSL

secret

-

нет

pvm.system.security.ssl.certificates.common-tracing.verify-hosts

Параметр, включающий проверку сертификата хоста для доступа к серверу выполняющему сбор трейсов по SSL

boolean

false

false

Настройки TLS для записи логов:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

pvm.system.security.ssl.certificates.logger-ssl.client-certificate

Путь к клиентскому сертификату (или клиентский сертификат) для доступа KafkaAppender к Kafka по SSL в формате PEM

secret

-

нет

pvm.system.security.ssl.certificates.logger-ssl.enabled

Включение/отключение доступа KafkaAppender к брокеру Kafka по SSL; при отключенном SSL устанавливается протокол PLAINTEXT

boolean

false

нет

pvm.system.security.ssl.certificates.logger-ssl.overridden-by

Параметр, позволяющий установить значения параметров SSL контекста logger-ssl из указанного SSL контекста

string

global

нет

pvm.system.security.ssl.certificates.logger-ssl.private-key

Путь к приватному ключу (или приватный ключ) для доступа KafkaAppender к Kafka по SSL

secret

-

нет

pvm.system.security.ssl.certificates.logger-ssl.private-key-password

Пароль от приватного ключа для доступа KafkaAppender к Kafka по SSL

secret

-

нет

Настройки TLS для базы данных:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

pvm.system.security.ssl.certificates.database.client-certificate

Путь к клиентскому сертификату (или клиентский сертификат) для доступа к БД по SSL в формате PEM

secret

-

нет

pvm.system.security.ssl.certificates.database.overridden-by

Параметр, позволяющий установить значения параметров SSL контекста database из указанного SSL контекста

string

global

нет

pvm.system.security.ssl.certificates.database.private-key

Путь к приватному ключу (или приватный ключ) для доступа к БД по SSL

secret

-

нет

pvm.system.security.ssl.certificates.database.private-key-password

Пароль от приватного ключа для доступа к БД по SSL

secret

-

нет

Настройки TLS для входящих соединений:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

pvm.system.security.ssl.certificates.server.client-certificate

Путь к клиентскому сертификату (или клиентский сертификат) для входящих соединений по SSL в формате PEM

secret

-

нет

pvm.system.security.ssl.certificates.server.enabled

Включение SSL службы на сервисе (для входящих соединений)

boolean

false

нет

pvm.system.security.ssl.certificates.server.mutual-enabled

Признак проверки сертификата клиента

boolean

false

нет

pvm.system.security.ssl.certificates.server.overridden-by

Параметр, позволяющий установить значения параметров SSL контекста server из указанного SSL контекста

string

global

нет

pvm.system.security.ssl.certificates.server.private-key

Путь к приватному ключу (или приватный ключ) для входящих соединений по SSL

secret

-

нет

pvm.system.security.ssl.certificates.server.private-key-password

Пароль от приватного ключа для входящих соединений по SSL

secret

-

нет

Настройки TLS для IAM:

Важно! Перед началом настройки требуется самостоятельно создать junction направленный на Nginx Abyss на location client api сервиса.

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

pvm.system.security.ssl.certificates.common-auth-iam.client-certificate

Путь к клиентскому сертификату (или клиентский сертификат) для доступа к IAM по SSL

secret

-

нет

pvm.system.security.ssl.certificates.common-auth-iam.overridden-by

Параметр, позволяющий установить значения параметров SSL контекста common-auth-iam из указанного SSL контекста

string

global

нет

pvm.system.security.ssl.certificates.common-auth-iam.private-key

Путь к приватному ключу (или приватный ключ) для доступа к IAM по SSL

secret

-

нет

pvm.system.security.ssl.certificates.common-auth-iam.private-key-password

Пароль от приватного ключа для доступа к IAM по SSL

secret

-

нет

pvm.system.security.ssl.certificates.common-auth-iam.verify-hosts

Параметр, включающий проверку сертификата хоста для доступа к IAM по SSL

boolean

false

нет

Безопасность:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

common.auth.type

Тип аутентификации (для подключения к OIDC провайдеру), два возможных значения:

string_enum

SECRET_AND_JWK

нет

- SECRET,

- SECRET_AND_JWK.

common.auth.secret

Пароль, используется для проверки подписи токена

secret

-

нет

common.auth.jwk-resource-server

Сервер ресурсов jwk с ключами для проверки подписи JWT (для подключения к OIDC провайдеру). Формат: https://url/to/jwk/resource/server.

string

-

да

common.auth.certificate-authentication-enabled

Включение/выключение аутентификации по сертификату

boolean

true

нет

common.auth.certificate.get-cert-from-header

Параметр, определяющий необходимость доставать сертификат из заголовка sslClientCertHeader

boolean

true

нет

Параметры URL API сервисов:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

common.service.api-basepath

Путь к API

string

api

нет

common.service.app-basepath

Путь к приложению

string

coordinator

нет

Параметры подключения к сервису авторизации:


Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

common.pvm-security.ssl.protocol

Протокол подключения к сервису авторизации, возможные значения:

string_enum

PLAINTEXT

нет

- PLAINTEXT,

- SSL_WANT,

- SSL_REQUIRED.

common.pvm-security.max-retries

Максимальное количество переподключений к сервису авторизации

long

2

нет

common.pvm-security.user

Пользователь для подключения к сервису авторизации

secret

admin

нет

common.pvm-security.password

Пароль для подключения к сервису авторизации

secret

-

нет

common.pvm-security.host

Хост, на котором расположен сервис авторизации

string

-

да

common.pvm-security.port

Порт, на котором запущен сервис авторизации

long

29102

нет

common.pvm-security.ssl-port

Защищенный порт, на котором запущен сервис авторизации

long

29102

нет

common.pvm-security.api-basepath

Путь к API сервиса авторизации

string

v1

нет

Важно! Пользователь PVM Authorization Service из конфигурации common.pvm-security.user в Archive Service, Client Api Service, Flow Service, Fulltext Service, Kafka Service, Monitoring Service, PVM Base Service, Trace Query Service должен иметь роль admin (обладать правами администратора). Пользователя с правами администратора можно узнать из следующей конфигурации PVM Authorization Service - service.pvm.security.users.admin.name.

Параметры публикации метрик сервисов через Telegraf:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

service.metrics.kafka.bootstrap-servers

Список Kafka брокеров (список должен содержать больше, чем одного брокера для большей доступности, но не обязательно перечислять их всех). Формат: hostname1:port1,hostname2:port2.

string

-

нет

service.metrics.kafka.topic

Топик для публикации метрик

string

abyss.coordinator-metrics

нет

service.metrics.kafka.acks

Конфигурация подтверждений:

string_enum

-1

нет

0 - producer никогда не ждет подтверждения от брокера;

1 - получает подтверждение после того, как реплика лидера получила данные;

-1 - получает подтверждение после того, как все синхронизированные реплики получили данные.

service.metrics.kafka.compression_codec

Конфигурация сжатия:

string_enum

3

нет

0 - None;

1 - Gzip;

2 - Snappy;

3 - LZ4;

4 - ZSTD.

service.metrics.kafka.max_message_bytes

Максимально допустимый размер сообщения. Должно быть меньше или равно, чем значение параметра message.max.bytes в Kafka.

long

1000000

нет

service.metrics.batch_size

Размер отправляемой пачки сообщений с метриками

long

3000

нет

service.metrics.buffer_limit

Размер буфера метрик. Увеличение данного параметра позволяет увеличить периодичность отправок метрик на сервер, но также увеличивает расход памяти.

long

10000

нет

service.metrics.collect.interval

Интервал сбора метрик

string

10s

нет

service.metrics.config-dir

Путь до директории конфигурации, в который записывается содержимое параметра-шаблона metrics_config

path

/etc/telegraf/telegraf.d/{service_name}

нет

service.metrics.enabled

Включение/выключение сбора метрик через Telegraf

boolean

false

нет

service.metrics.flush_interval

Интервал публикации метрик в Kafka

string

30s

нет

service.metrics.label

Метка сервиса в сообщениях, для определения откуда пришли метрики

string

см. раздел конфигурации сервиса

нет

service.metrics.kafka.group-id

Идентификатор группы для Kafka-producer, под которым будет осуществляться отправка метрик в Kafka

string

см. раздел конфигурации сервиса

нет

service.metrics.kafka.data_format

Формат сообщений отправляемых в Kafka

string

template

нет

service.metrics.kafka.data_format.template

Шаблон сообщений отправляемых в Kafka в формате GO template (используется только, если data_format = template)

string

{«labels.telegraf_metric_name»:»»,\n \n \n «»:»»,\n \n «labels.»:»»,\n \n \n \n \n «»:,\n \n «labels.»:»»,\n \n \n «timestamp»:}

нет

service.metrics.kafka.minimal_version

Минимальная поддерживаемая версия Kafka (определяет используемую версию API)

string

2.0.0

нет

Параметры TLS соединения Telegraf с сервисом и Kafka для считывания и публикации метрик сервисов:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

service.metrics.client.ssl.tls_ca

Путь до корневого сертификата в формате PEM, используемого при установлении соединения с эндпоинтом Actuator сервиса

string

-

нет

service.metrics.client.ssl.tls_cert

Путь до клиентского сертификата в формате PEM, используемого при установлении соединения с эндпоинтом Actuator сервиса

string

-

нет

service.metrics.client.ssl.tls_key

Путь до ключа от сертификата в формате PEM, используемого при установлении соединения с эндпоинтом Actuator сервиса

string

-

нет

service.metrics.client.ssl.skip-verify-hosts

Параметр, выключающий проверку сертификата хоста при установлении TLS соединения с эндпоинтом Actuator сервиса

boolean

false

нет

service.metrics.kafka.ssl.enabled

Включение/Выключение TLS при установлении соединения с Kafka

boolean

false

нет

service.metrics.kafka.ssl.tls_ca

Путь до корневого сертификата в формате PEM, используемого при установлении соединения с Kafka

string

-

нет

service.metrics.kafka.ssl.tls_cert

Путь до клиентского сертификата в формате PEM, используемого при установлении соединения с Kafka

string

-

нет

service.metrics.kafka.ssl.tls_key

Путь до ключа от сертификата в формате PEM, используемого при установлении соединения с Kafka

string

-

нет

service.metrics.kafka.ssl.skip-verify-hosts

Параметр, выключающий проверку сертификата хоста при установлении TLS соединения c Kafka

boolean

false

нет

Параметры аудита:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

abyss.audit.enabled

Включение/выключение аудита

boolean

false

нет

abyss.audit.client.type

Тип аудит клиента. Возможные значения:

string_enum

ASYNC

нет

ASYNC - асинхронный REST клиент

SYNC - синхронный REST клиент

KAFKA - Kafka клиент

abyss.audit.client.url.base

URL COTE для публикации событий аудита. Формат: https://host.

string

-

нет

abyss.audit.client.ssl.enabled

Включение/выключение TLS для соединения с COTE

boolean

false

нет

abyss.audit.metamodel.module

Название модуля метамодели аудита

string

abyss

нет

Параметры самоаудита:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

abyss.audit.kafka.client.bootstrap-servers

Список Kafka брокеров для отправки метамодели и событий аудита. Формат: hostname1:port1,hostname2:port2.

string

-

нет

abyss.audit.kafka.client.health-check-topic

Топик Kafka для мониторинга доступности кластера Kafka

string

-

нет

abyss.audit.kafka.client.source-system

Идентификатор исходной системы (AS)

string

tengri

нет

abyss.audit.kafka.client.security-protocol

Протокол для подключения к Kafka. Возможные значения:

string_enum

SSL

нет

- PLAINTEXT

- SSL

- SASL_PLAINTEXT

- SASL_SSL

abyss.audit.kafka.client.sync-send-enabled

Флаг, включающий синхронный режим отправки сообщений в Kafka

boolean

true

нет

abyss.audit.kafka.client.producer.retry-attempts

Количество попыток повторной отправки сообщения в случае неудачной отправки или ошибки при передаче данных

long

3

нет

abyss.audit.kafka.client.producer.delivery-timeout-ms

Время ожидания подтверждения от Kafka брокера об успешной доставке сообщения.

long

120000

нет

abyss.audit.kafka.client.producer.request-timeout-ms

Время ожидания выполнения запроса к брокеру Kafka.

long

30000

нет

Отличается от delivery-timeout-ms тем что delivery-timeout-ms охватывает всю цепочку доставки сообщения

от момента его отправки продюсером до окончательного подтверждения или отказа брокером Kafka,

а request-timeout-ms ограничивает время ожидания ответа одного запроса к брокеру Kafka.

abyss.audit.kafka.client.producer.linger-ms

Время ожидания перед отправкой набора записей (batch) на Kafka брокер

long

10

нет

abyss.audit.kafka.client.producer.kafka-event-topic-name

Топик для публикации событий аудита

string

abyss.coordinator_audit_events

нет

abyss.audit.kafka.client.producer.kafka-metamodel-topic-name

Топик для публикации метамодели

string

abyss.coordinator_audit_metamodels

нет

Параметры подключения ОТТ для аудита:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

abyss.audit.ott.enabled

Включение/выключение OTT для аудита

boolean

false

нет

abyss.audit.ott.service-url

Шаблон URL сервиса OTT. Формат: https://host:port. При этом host и port берутся из параметра abyss.audit.ott.service-hosts.

string

-

нет

abyss.audit.ott.service-hosts

Список серверов OTT. Формат: hostname1:port1,hostname2:port2.

string

-

нет

abyss.audit.ott.module-id

ID OTT модуля. Должен совпадать со значением параметра abyss.audit.metamodel.module в metamodel.

string

abyss

нет

Параметры мониторинга с помощью Actuator:

Имя параметра

Описание

Тип

Значение по умолчанию

Обязательность

management.endpoints.web.exposure.include

Список включенных endpoints Actuator, поддерживается только prometheus, пустое значение отключает метрики

string

prometheus

нет

management.endpoints.web.path-mapping.prometheus

Путь до endpoint с метриками Actuator

string

/metrics

нет

common.actuator.basic-auth.enabled

Включение/выключение Basic Auth для Actuator. Если выключен, то метрики будут использовать дефолтный для сервиса механизм аутентификации.

boolean

false

нет

common.actuator.basic-auth.user

Имя пользователя для Basic Auth для Actuator

secret

metrics_viewer

нет

common.actuator.basic-auth.password

Пароль пользователя для Basic Auth для Actuator

secret

-

нет

Мониторинг сервисов с помощью Actuator:

Параметр

Описание

Тип параметра

Значение по умолчанию

management.endpoints.web.exposure.include

Список включенных endpoints Actuator, поддерживается только prometheus, пустое значение отключает метрики

string

prometheus

management.endpoints.web.path-mapping.prometheus

Путь до endpoint с метриками

string

/metrics

common.actuator.basic-auth.enabled

Выключатель Basic Auth, если выключен, то метрики будут использовать дефолтный для сервиса механизм аутентификации

boolean

false

common.actuator.basic-auth.user

Имя пользователя для Basic Auth

string

metrics_viewer

common.actuator.basic-auth.password

Пароль для Basic Auth

password