Общая конфигурация сервисов Coordinator#
Параметры из этого раздела необходимо указать во всех service descriptors сервисов Abyss:
Archive service;
Client Api service;
Flow service;
Full text index service;
Kafka service;
Monitoring service;
PVM base service;
PVM authorization service;
Trace collector service;
Trace query service.
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
server.jetty.threads.max |
Максимально разрешенное количество потоков к серверу |
long |
200 |
нет |
service.java.home |
Переменная окружения, указывающая на директорию с установленным JDK. Переопределяет значение JAVA_HOME для компонента |
string |
- |
Да |
Параметры соединения с Secret Management:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
spring.cloud.vault.app-role.app-role |
App role для аутентификации |
string |
- |
нет |
spring.cloud.vault.app-role.path |
Path для app-role аутентификации |
string |
approle |
нет |
spring.cloud.vault.app-role.role-id |
Role id для аутентификации |
password |
- |
нет |
spring.cloud.vault.app-role.secret-id |
Secret id для аутентификации |
password |
- |
нет |
spring.cloud.vault.authentication |
Тип аутентификации в vault. Возможные варианты: - token, - kubernetes, - app-role |
string |
app-role |
нет |
spring.cloud.vault.certificates.ttl |
Время жизни сертификата в формате ISO8601 (подробнее описано в документе Hot-reload секретов) |
string |
P30D |
нет |
spring.cloud.vault.enabled |
Включение использования vault |
boolean |
false |
нет |
spring.cloud.vault.namespace |
Namespace секретов vault |
string |
- |
нет |
spring.cloud.vault.uri |
URI хранилища с секретами vault |
string |
- |
нет |
spring.cloud.vault.connection-timeout |
Время ожидания подключения в миллисекундах |
long |
5000 |
нет |
spring.cloud.vault.read-timeout |
Время ожидания чтения в миллисекундах |
long |
15000 |
нет |
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
pvm.system.security.ssl.ca-certificates |
Путь к сертификату CA (или сертификат CA) |
string |
- |
нет |
pvm.system.security.ssl.certificate-alt-names |
Список полных доменных имен (Fully Qualified Domain Names) для альтернативных имен в SSL-сертификатах системы PVM. Формат hostname1,hostname2,… |
string |
- |
нет |
pvm.system.security.ssl.certificate-ip-sans |
Список IP SANов (Subject Alternative Names) для SSL-сертификатов в системе PVM. Формат ip1,ip2,… |
string |
- |
нет |
Важно: Значения для параметров сервисов являющихся секретами и их атрибутов «Значение по умолчанию», «Обязательность» остаются прежними, но теперь также для этих параметров можно указывать значения в виде нотации секрета при включенном режиме интеграции Secret Management.
Параметры базы данных:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
spring.datasource.url |
JDBC URL для подключения к БД. Формат: jdbc:postgresql://localhost:5432/db |
string |
- |
да |
spring.datasource.username |
Имя пользователя для подключения к БД |
string |
см. раздел конфигурации сервиса |
нет |
spring.datasource.password |
Пароль для подключения к БД |
- |
нет |
|
spring.datasource.type |
Тип источника данных при подключении к БД. По умолчанию используется com.zaxxer.hikari.HikariDataSource. Если пул не требуется, используйте org.springframework.jdbc.datasource.DriverManagerDataSource. |
string |
com.zaxxer.hikari.HikariDataSource |
нет |
Параметры Flyway пользователя:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
spring.flyway.user |
Имя flyway пользователя для подключения к БД |
string |
см. раздел конфигурации сервиса |
нет |
spring.flyway.password |
Пароль flyway пользователя для подключения к БД |
- |
нет |
Дополнительные параметры для настройки HikariDataSource:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
spring.datasource.hikari.connection-timeout |
Таймаут получения соединения из пула соединений. К таймауту может приводить длительное подключение к БД или отсутствие свободных соединений в пуле. Задается в миллисекундах. Минимальное допустимое значение 250 ms. (если spring.datasource.type = com.zaxxer.hikari.HikariDataSource) |
long |
30000 |
нет |
spring.datasource.hikari.minimum-idle |
Минимальное количество неиспользованных (свободных) соединений, которое пул соединений должен поддерживать. Не рекомендуется устанавливать данный параметр, и использовать пул фиксированного размера когда задается только maximum-pool-size. По умолчанию равно maximum-pool-size. (если spring.datasource.type = com.zaxxer.hikari.HikariDataSource) |
long |
6 |
нет |
spring.datasource.hikari.maximum-pool-size |
Максимальный размер пула соединений (если spring.datasource.type = com.zaxxer.hikari.HikariDataSource) |
long |
6 |
нет |
spring.datasource.hikari.idle-timeout |
Таймаут нахождения неиспользованного соединения в пуле соединений. Применяется только при установленном параметре minimum-idle, меньшим чем maximum-pool-size. Задается в миллисекундах. Минимальное допустимое значение 10000ms (10 seconds). (если spring.datasource.type = com.zaxxer.hikari.HikariDataSource) |
long |
300000 |
нет |
spring.datasource.hikari.max-lifetime |
Максимальное время жизни соединения в пуле. Используемые соединения не закрываются при достижении данного значения. Рекомендуется обязательно устанавливать и использовать значение на несколько секунд меньше чем таймаут используемой БД. Задается в миллисекундах. Минимальное допустимое значение 30000ms (30 seconds). (если spring.datasource.type = com.zaxxer.hikari.HikariDataSource) |
long |
1200000 |
нет |
spring.datasource.hikari.leak-detection-threshold |
Время, по истечении которого соединение, находящееся в использовании считается для пула потерянным (не будет возвращено в пул). Для такого соединения формируется запись в журнале. Задается в миллисекундах. (если spring.datasource.type = com.zaxxer.hikari.HikariDataSource) |
long |
0 |
нет |
spring.datasource.hikari.allow-pool-suspension |
Включает возможность остановки пула соединений (может потребоваться для дианостики нештатной работы подключения сервисов Abyss к бд) |
boolean |
true |
нет |
Важно: Значения для параметров сервисов являющихся секретами и их атрибутов «Значение по умолчанию», «Обязательность» остаются прежними, но теперь также для этих параметров можно указывать значения в виде нотации секрета при включенном режиме интеграции Secret Management. Важно: При отключении режима интеграции с Secret Management все параметры являющиеся секретами, которые в качестве значения содержат ссылку в Secret Management теперь будут использовать указанную ссылку в качестве конечного значения. Поэтому необходимо перенастроить все параметры являющиеся секретами на конечные значения
Параметры Java:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
service.java.home |
Переменная окружения, указывающая на директорию с установленным JDK. Переопределеяет значение JAVA_HOME для компонента. |
string |
- |
нет |
Параметры заголовков HTTP запросов
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
server.max-http-header-size |
Максимально разрешенный размер заголовка HTTP запроса |
string |
32KB |
нет |
Параметры внутреннего взаимодействия сервисов:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
common.internal-communication.max-retries |
Максимальное количество попыток отправить запрос |
int |
2 |
нет |
common.internal-communication.data-center-id |
Идентификатор дата центра |
string |
DC1 |
нет |
Параметры логирования:
Стандартные параметры настройки логирования Cloudera Manager (log_dir, max_log_size, log_threshold, max_log_backup_index,) будут проигнорированы.
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
logger.kafka.bootstrap-servers |
Список Kafka брокеров для отправки логов. Список должен содержать больше, чем одного брокера для большей доступности, но не обязательно перечислять их всех. Формат: hostname1:port1,hostname2:port2. |
string |
- |
нет |
logger.kafka.topic |
Имя топика Kafka, где будут храниться логи |
string |
abyss.coordinator-logs |
нет |
logger.directory |
Директория, в которой будут храниться логи сервиса |
string |
/var/log/abyss |
нет |
logger.file-size |
Размер лог файла |
string |
100MB |
нет |
logger.max-file-amount |
Максимальное число файлов логов на сервере |
long |
10 |
нет |
logger.kafka.level |
Уровень логирования в Kafka. Возможные значения: |
string_enum |
INFO |
нет |
- ALL; |
||||
- TRACE; |
||||
- DEBUG; |
||||
- INFO; |
||||
- WARN; |
||||
- ERROR; |
||||
- OFF. |
||||
logger.file.level |
Уровень логирования в файл. Возможные значения: |
string_enum |
INFO |
нет |
- ALL; |
||||
- TRACE; |
||||
- DEBUG; |
||||
- INFO; |
||||
- WARN; |
||||
- ERROR; |
||||
- OFF. |
Параметры Discovery:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
common.discovery.type |
Определяет, каким способом будет происходить регистрация сервисов, с помощью ZooKeeper или же статически, используя готовый список хостов. Возможные значения: STATIC/ZOOKEEPER. |
string_enum |
ZOOKEEPER |
нет |
common.discovery.zookeeper.connection |
Список серверов ZooKeeper для подключения. Формат: hostname1:port1,hostname2:port2. |
string |
- |
да |
common.discovery.zookeeper.retry-interval-ms |
Интервал между попытками переподключения к ZooKeeper в миллисекундах |
string |
10000 |
нет |
common.discovery.zookeeper.path |
Znode в ZooKeeper, используемая в качестве корня для сервиса |
string |
/abyss |
нет |
common.discovery.zookeeper.acl-enabled |
Включает автоустановку ACL на Znode для обнаружения сервисов |
boolean |
false |
нет |
common.discovery.zookeeper.leadership-enabled |
Включает механизм выбора лидера в сервисе среди узлов кластера |
boolean |
true |
нет |
Параметры http-клиента:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
common.http.client.socket-timeout-ms |
Тайм-аут сокета на клиенте. Максимальное ограничение бездействия между двумя пакетами в миллисекундах. |
long |
50000 |
нет |
common.http.client.connect-timeout-ms |
Сколько времени в миллисекундах поддерживать соединение для бездействующих соединений |
long |
50000 |
нет |
common.http.client.eviction.interval-ms |
Интервал, по истечении которого будут закрыты все бездействующие соединения |
long |
10000 |
нет |
common.http.client.eviction.idle-sec |
Время в секундах, по истечении которого при бездействии соединения закрываются |
long |
10000 |
нет |
common.http.client.max-connections |
Максимальное количество HTTP соединений |
long |
1000 |
нет |
common.http.client.keep-alive-ms |
Время в миллисекундах, в течении которого необходимо поддерживать соединение после того, как завершится первый запрос (добавлено для того, чтобы соединение могло переиспользоваться для нового запроса) |
long |
10000 |
нет |
Параметры трейсинга:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
common.tracing.enabled |
Включение/отключение функциональности трейсинга |
boolean |
false |
нет |
common.tracing.backend-url |
URL сервера выполняющего сбор трейсов. Формат: scheme://host:port/api/v2/spans. |
string |
- |
нет |
common.tracing.sampling-percent |
Количество трейсов в процентном отношении, которые будут отправлены на сервер сбора трейсов. Если был создан составной трейс, то он отправляется на сервер целиком. Возможные значения: 1-100. |
long |
100 |
нет |
Параметры мониторинга:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
common.metric.distributionStatisticExpiry |
Размер окна агрегации для расчета перцентилей в распределении, сек |
long |
15 |
нет |
Параметры TLS для внутреннего взаимодействия:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
pvm.system.security.ssl.certificates.common-internal-communication.client-certificate |
Путь к клиентскому сертификату (или клиентский сертификат) для межмодульного взаимодействия по SSL |
- |
нет |
|
pvm.system.security.ssl.certificates.common-internal-communication.overridden-by |
Параметр, позволяющий установить значения параметров SSL контекста common-internal-communication из указанного SSL контекста |
string |
нет |
|
pvm.system.security.ssl.certificates.common-internal-communication.private-key |
Путь к приватному ключу (или приватный ключ) для межмодульного взаимодействия по SSL |
- |
нет |
|
pvm.system.security.ssl.certificates.common-internal-communication.private-key-password |
Пароль от приватного ключа для межмодульного взаимодействия по SSL |
- |
нет |
|
pvm.system.security.ssl.certificates.common-internal-communication.verify-hosts |
Параметр, включающий проверку сертификата хоста для межмодульного взаимодействия по SSL |
boolean |
false |
нет |
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
common.internal-communication.ssl.protocol |
Протокол межмодульного взаимодействия, возможны три варианта: |
string_enum |
PLAINTEXT |
нет |
PLAINTEXT - вариант подключения без TLS, |
||||
SSL_WANT - опциональный TLS (если включен на модуле, к которому осуществляется подключение), |
||||
SSL_REQUIRED - подключение с TLS. |
Глобальные настройки TLS для всего модуля:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
pvm.system.security.ssl.certificates.global.client-certificate |
Путь к клиентскому сертификату (или клиентский сертификат) (глобальный для всего модуля) |
- |
нет |
|
pvm.system.security.ssl.certificates.global.private-key |
Путь к приватному ключу (или приватный ключ) (глобальный для всего модуля) |
- |
нет |
|
pvm.system.security.ssl.certificates.global.private-key-password |
Пароль от приватного ключа (глобальный для всего модуля) |
- |
нет |
|
pvm.system.security.ssl.certificates.global.verify-hosts |
Параметр, включающий проверку сертификата хоста для доступа по SSL (глобальный для всего модуля) |
boolean |
false |
нет |
Настройки TLS для записи в аудит:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
pvm.system.security.ssl.certificates.audit-client.client-certificate |
Путь к клиентскому сертификату (или клиентский сертификат) для доступа к COTE по SSL в формате PEM |
string |
- |
нет |
pvm.system.security.ssl.certificates.audit-client.enabled |
Включение/выключение SSL для соединения с COTE |
boolean |
false |
нет |
pvm.system.security.ssl.certificates.audit-client.overridden-by |
Параметр позволяющий установить значения параметров SSL контекста audit-client из указанного SSL контекста |
string |
нет |
|
pvm.system.security.ssl.certificates.audit-client.private-key |
Путь к приватному ключу (или приватный ключ) для доступа к COTE по SSL |
string |
- |
нет |
pvm.system.security.ssl.certificates.audit-client.private-key-password |
Пароль от приватного ключа для доступа к COTE по SSL |
password |
- |
нет |
Настройки TLS для записи метамодели и событий аудита в Kafka:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
pvm.system.security.ssl.certificates.audit-kafka-client.client-certificate |
Путь к клиентскому сертификату (или клиентский сертификат) для доступа к Kafka по SSL в формате PEM |
string |
- |
нет |
pvm.system.security.ssl.certificates.audit-kafka-client.enabled |
Включение/выключение SSL для соединения с Kafka |
boolean |
false |
нет |
pvm.system.security.ssl.certificates.audit-kafka-client.overridden-by |
Параметр, позволяющий установить значения параметров SSL контекста audit-kafka-client из указанного SSL контекста |
string |
нет |
|
pvm.system.security.ssl.certificates.audit-kafka-client.private-key |
Путь к приватному ключу (или приватный ключ) для доступа к Kafka по SSL |
string |
- |
нет |
pvm.system.security.ssl.certificates.audit-kafka-client.private-key-password |
Пароль от приватного ключа для доступа к Kafka по SSL |
password |
- |
нет |
Настройки TLS для записи на сервер трейсов:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
pvm.system.security.ssl.certificates.common-tracing.client-certificate |
Путь к клиентскому сертификату (или клиентский сертификат) для доступа к серверу выполняющему сбор трейсов по SSL в формате PEM |
- |
нет |
|
pvm.system.security.ssl.certificates.common-tracing.overridden-by |
Параметр, позволяющий установить значения параметров SSL контекста common-tracing из указанного SSL контекста |
string |
нет |
|
pvm.system.security.ssl.certificates.common-tracing.private-key |
Путь к приватному ключу (или приватный ключ) для доступа к серверу выполняющему сбор трейсов по SSL |
- |
нет |
|
pvm.system.security.ssl.certificates.common-tracing.private-key-password |
Пароль от приватного ключа для доступа к серверу выполняющему сбор трейсов по SSL |
- |
нет |
|
pvm.system.security.ssl.certificates.common-tracing.verify-hosts |
Параметр, включающий проверку сертификата хоста для доступа к серверу выполняющему сбор трейсов по SSL |
boolean |
false |
false |
Настройки TLS для записи логов:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
pvm.system.security.ssl.certificates.logger-ssl.client-certificate |
Путь к клиентскому сертификату (или клиентский сертификат) для доступа KafkaAppender к Kafka по SSL в формате PEM |
- |
нет |
|
pvm.system.security.ssl.certificates.logger-ssl.enabled |
Включение/отключение доступа KafkaAppender к брокеру Kafka по SSL; при отключенном SSL устанавливается протокол PLAINTEXT |
boolean |
false |
нет |
pvm.system.security.ssl.certificates.logger-ssl.overridden-by |
Параметр, позволяющий установить значения параметров SSL контекста logger-ssl из указанного SSL контекста |
string |
нет |
|
pvm.system.security.ssl.certificates.logger-ssl.private-key |
Путь к приватному ключу (или приватный ключ) для доступа KafkaAppender к Kafka по SSL |
- |
нет |
|
pvm.system.security.ssl.certificates.logger-ssl.private-key-password |
Пароль от приватного ключа для доступа KafkaAppender к Kafka по SSL |
- |
нет |
Настройки TLS для базы данных:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
pvm.system.security.ssl.certificates.database.client-certificate |
Путь к клиентскому сертификату (или клиентский сертификат) для доступа к БД по SSL в формате PEM |
- |
нет |
|
pvm.system.security.ssl.certificates.database.overridden-by |
Параметр, позволяющий установить значения параметров SSL контекста database из указанного SSL контекста |
string |
нет |
|
pvm.system.security.ssl.certificates.database.private-key |
Путь к приватному ключу (или приватный ключ) для доступа к БД по SSL |
- |
нет |
|
pvm.system.security.ssl.certificates.database.private-key-password |
Пароль от приватного ключа для доступа к БД по SSL |
- |
нет |
Настройки TLS для входящих соединений:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
pvm.system.security.ssl.certificates.server.client-certificate |
Путь к клиентскому сертификату (или клиентский сертификат) для входящих соединений по SSL в формате PEM |
- |
нет |
|
pvm.system.security.ssl.certificates.server.enabled |
Включение SSL службы на сервисе (для входящих соединений) |
boolean |
false |
нет |
pvm.system.security.ssl.certificates.server.mutual-enabled |
Признак проверки сертификата клиента |
boolean |
false |
нет |
pvm.system.security.ssl.certificates.server.overridden-by |
Параметр, позволяющий установить значения параметров SSL контекста server из указанного SSL контекста |
string |
нет |
|
pvm.system.security.ssl.certificates.server.private-key |
Путь к приватному ключу (или приватный ключ) для входящих соединений по SSL |
- |
нет |
|
pvm.system.security.ssl.certificates.server.private-key-password |
Пароль от приватного ключа для входящих соединений по SSL |
- |
нет |
Настройки TLS для IAM:
Важно! Перед началом настройки требуется самостоятельно создать junction направленный на Nginx Abyss на location client api сервиса.
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
pvm.system.security.ssl.certificates.common-auth-iam.client-certificate |
Путь к клиентскому сертификату (или клиентский сертификат) для доступа к IAM по SSL |
- |
нет |
|
pvm.system.security.ssl.certificates.common-auth-iam.overridden-by |
Параметр, позволяющий установить значения параметров SSL контекста common-auth-iam из указанного SSL контекста |
string |
нет |
|
pvm.system.security.ssl.certificates.common-auth-iam.private-key |
Путь к приватному ключу (или приватный ключ) для доступа к IAM по SSL |
- |
нет |
|
pvm.system.security.ssl.certificates.common-auth-iam.private-key-password |
Пароль от приватного ключа для доступа к IAM по SSL |
- |
нет |
|
pvm.system.security.ssl.certificates.common-auth-iam.verify-hosts |
Параметр, включающий проверку сертификата хоста для доступа к IAM по SSL |
boolean |
false |
нет |
Безопасность:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
common.auth.type |
Тип аутентификации (для подключения к OIDC провайдеру), два возможных значения: |
string_enum |
SECRET_AND_JWK |
нет |
- SECRET, |
||||
- SECRET_AND_JWK. |
||||
common.auth.secret |
Пароль, используется для проверки подписи токена |
- |
нет |
|
common.auth.jwk-resource-server |
Сервер ресурсов jwk с ключами для проверки подписи JWT (для подключения к OIDC провайдеру). Формат: https://url/to/jwk/resource/server. |
string |
- |
да |
common.auth.certificate-authentication-enabled |
Включение/выключение аутентификации по сертификату |
boolean |
true |
нет |
common.auth.certificate.get-cert-from-header |
Параметр, определяющий необходимость доставать сертификат из заголовка sslClientCertHeader |
boolean |
true |
нет |
Параметры URL API сервисов:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
common.service.api-basepath |
Путь к API |
string |
api |
нет |
common.service.app-basepath |
Путь к приложению |
string |
coordinator |
нет |
Параметры подключения к сервису авторизации:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
common.pvm-security.ssl.protocol |
Протокол подключения к сервису авторизации, возможные значения: |
string_enum |
PLAINTEXT |
нет |
- PLAINTEXT, |
||||
- SSL_WANT, |
||||
- SSL_REQUIRED. |
||||
common.pvm-security.max-retries |
Максимальное количество переподключений к сервису авторизации |
long |
2 |
нет |
common.pvm-security.user |
Пользователь для подключения к сервису авторизации |
admin |
нет |
|
common.pvm-security.password |
Пароль для подключения к сервису авторизации |
- |
нет |
|
common.pvm-security.host |
Хост, на котором расположен сервис авторизации |
string |
- |
да |
common.pvm-security.port |
Порт, на котором запущен сервис авторизации |
long |
29102 |
нет |
common.pvm-security.ssl-port |
Защищенный порт, на котором запущен сервис авторизации |
long |
29102 |
нет |
common.pvm-security.api-basepath |
Путь к API сервиса авторизации |
string |
v1 |
нет |
Важно! Пользователь PVM Authorization Service из конфигурации common.pvm-security.user в Archive Service, Client Api Service, Flow Service, Fulltext Service, Kafka Service, Monitoring Service, PVM Base Service, Trace Query Service должен иметь роль admin (обладать правами администратора). Пользователя с правами администратора можно узнать из следующей конфигурации PVM Authorization Service - service.pvm.security.users.admin.name.
Параметры публикации метрик сервисов через Telegraf:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
service.metrics.kafka.bootstrap-servers |
Список Kafka брокеров (список должен содержать больше, чем одного брокера для большей доступности, но не обязательно перечислять их всех). Формат: hostname1:port1,hostname2:port2. |
string |
- |
нет |
service.metrics.kafka.topic |
Топик для публикации метрик |
string |
abyss.coordinator-metrics |
нет |
service.metrics.kafka.acks |
Конфигурация подтверждений: |
string_enum |
-1 |
нет |
0 - producer никогда не ждет подтверждения от брокера; |
||||
1 - получает подтверждение после того, как реплика лидера получила данные; |
||||
-1 - получает подтверждение после того, как все синхронизированные реплики получили данные. |
||||
service.metrics.kafka.compression_codec |
Конфигурация сжатия: |
string_enum |
3 |
нет |
0 - None; |
||||
1 - Gzip; |
||||
2 - Snappy; |
||||
3 - LZ4; |
||||
4 - ZSTD. |
||||
service.metrics.kafka.max_message_bytes |
Максимально допустимый размер сообщения. Должно быть меньше или равно, чем значение параметра message.max.bytes в Kafka. |
long |
1000000 |
нет |
service.metrics.batch_size |
Размер отправляемой пачки сообщений с метриками |
long |
3000 |
нет |
service.metrics.buffer_limit |
Размер буфера метрик. Увеличение данного параметра позволяет увеличить периодичность отправок метрик на сервер, но также увеличивает расход памяти. |
long |
10000 |
нет |
service.metrics.collect.interval |
Интервал сбора метрик |
string |
10s |
нет |
service.metrics.config-dir |
Путь до директории конфигурации, в который записывается содержимое параметра-шаблона metrics_config |
path |
/etc/telegraf/telegraf.d/{service_name} |
нет |
service.metrics.enabled |
Включение/выключение сбора метрик через Telegraf |
boolean |
false |
нет |
service.metrics.flush_interval |
Интервал публикации метрик в Kafka |
string |
30s |
нет |
service.metrics.label |
Метка сервиса в сообщениях, для определения откуда пришли метрики |
string |
см. раздел конфигурации сервиса |
нет |
service.metrics.kafka.group-id |
Идентификатор группы для Kafka-producer, под которым будет осуществляться отправка метрик в Kafka |
string |
см. раздел конфигурации сервиса |
нет |
service.metrics.kafka.data_format |
Формат сообщений отправляемых в Kafka |
string |
template |
нет |
service.metrics.kafka.data_format.template |
Шаблон сообщений отправляемых в Kafka в формате GO template (используется только, если data_format = template) |
string |
{«labels.telegraf_metric_name»:»»,\n \n \n «»:»»,\n \n «labels.»:»»,\n \n \n \n \n «»:,\n \n «labels.»:»»,\n \n \n «timestamp»:} |
нет |
service.metrics.kafka.minimal_version |
Минимальная поддерживаемая версия Kafka (определяет используемую версию API) |
string |
2.0.0 |
нет |
Параметры TLS соединения Telegraf с сервисом и Kafka для считывания и публикации метрик сервисов:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
service.metrics.client.ssl.tls_ca |
Путь до корневого сертификата в формате PEM, используемого при установлении соединения с эндпоинтом Actuator сервиса |
string |
- |
нет |
service.metrics.client.ssl.tls_cert |
Путь до клиентского сертификата в формате PEM, используемого при установлении соединения с эндпоинтом Actuator сервиса |
string |
- |
нет |
service.metrics.client.ssl.tls_key |
Путь до ключа от сертификата в формате PEM, используемого при установлении соединения с эндпоинтом Actuator сервиса |
string |
- |
нет |
service.metrics.client.ssl.skip-verify-hosts |
Параметр, выключающий проверку сертификата хоста при установлении TLS соединения с эндпоинтом Actuator сервиса |
boolean |
false |
нет |
service.metrics.kafka.ssl.enabled |
Включение/Выключение TLS при установлении соединения с Kafka |
boolean |
false |
нет |
service.metrics.kafka.ssl.tls_ca |
Путь до корневого сертификата в формате PEM, используемого при установлении соединения с Kafka |
string |
- |
нет |
service.metrics.kafka.ssl.tls_cert |
Путь до клиентского сертификата в формате PEM, используемого при установлении соединения с Kafka |
string |
- |
нет |
service.metrics.kafka.ssl.tls_key |
Путь до ключа от сертификата в формате PEM, используемого при установлении соединения с Kafka |
string |
- |
нет |
service.metrics.kafka.ssl.skip-verify-hosts |
Параметр, выключающий проверку сертификата хоста при установлении TLS соединения c Kafka |
boolean |
false |
нет |
Параметры аудита:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
abyss.audit.enabled |
Включение/выключение аудита |
boolean |
false |
нет |
abyss.audit.client.type |
Тип аудит клиента. Возможные значения: |
string_enum |
ASYNC |
нет |
ASYNC - асинхронный REST клиент |
||||
SYNC - синхронный REST клиент |
||||
KAFKA - Kafka клиент |
||||
abyss.audit.client.url.base |
URL COTE для публикации событий аудита. Формат: https://host. |
string |
- |
нет |
abyss.audit.client.ssl.enabled |
Включение/выключение TLS для соединения с COTE |
boolean |
false |
нет |
abyss.audit.metamodel.module |
Название модуля метамодели аудита |
string |
abyss |
нет |
Параметры самоаудита:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
abyss.audit.kafka.client.bootstrap-servers |
Список Kafka брокеров для отправки метамодели и событий аудита. Формат: hostname1:port1,hostname2:port2. |
string |
- |
нет |
abyss.audit.kafka.client.health-check-topic |
Топик Kafka для мониторинга доступности кластера Kafka |
string |
- |
нет |
abyss.audit.kafka.client.source-system |
Идентификатор исходной системы (AS) |
string |
tengri |
нет |
abyss.audit.kafka.client.security-protocol |
Протокол для подключения к Kafka. Возможные значения: |
string_enum |
SSL |
нет |
- PLAINTEXT |
||||
- SSL |
||||
- SASL_PLAINTEXT |
||||
- SASL_SSL |
||||
abyss.audit.kafka.client.sync-send-enabled |
Флаг, включающий синхронный режим отправки сообщений в Kafka |
boolean |
true |
нет |
abyss.audit.kafka.client.producer.retry-attempts |
Количество попыток повторной отправки сообщения в случае неудачной отправки или ошибки при передаче данных |
long |
3 |
нет |
abyss.audit.kafka.client.producer.delivery-timeout-ms |
Время ожидания подтверждения от Kafka брокера об успешной доставке сообщения. |
long |
120000 |
нет |
abyss.audit.kafka.client.producer.request-timeout-ms |
Время ожидания выполнения запроса к брокеру Kafka. |
long |
30000 |
нет |
Отличается от delivery-timeout-ms тем что delivery-timeout-ms охватывает всю цепочку доставки сообщения |
||||
от момента его отправки продюсером до окончательного подтверждения или отказа брокером Kafka, |
||||
а request-timeout-ms ограничивает время ожидания ответа одного запроса к брокеру Kafka. |
||||
abyss.audit.kafka.client.producer.linger-ms |
Время ожидания перед отправкой набора записей (batch) на Kafka брокер |
long |
10 |
нет |
abyss.audit.kafka.client.producer.kafka-event-topic-name |
Топик для публикации событий аудита |
string |
abyss.coordinator_audit_events |
нет |
abyss.audit.kafka.client.producer.kafka-metamodel-topic-name |
Топик для публикации метамодели |
string |
abyss.coordinator_audit_metamodels |
нет |
Параметры подключения ОТТ для аудита:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
abyss.audit.ott.enabled |
Включение/выключение OTT для аудита |
boolean |
false |
нет |
abyss.audit.ott.service-url |
Шаблон URL сервиса OTT. Формат: https://host:port. При этом host и port берутся из параметра abyss.audit.ott.service-hosts. |
string |
- |
нет |
abyss.audit.ott.service-hosts |
Список серверов OTT. Формат: hostname1:port1,hostname2:port2. |
string |
- |
нет |
abyss.audit.ott.module-id |
ID OTT модуля. Должен совпадать со значением параметра abyss.audit.metamodel.module в metamodel. |
string |
abyss |
нет |
Параметры мониторинга с помощью Actuator:
Имя параметра |
Описание |
Тип |
Значение по умолчанию |
Обязательность |
|---|---|---|---|---|
management.endpoints.web.exposure.include |
Список включенных endpoints Actuator, поддерживается только prometheus, пустое значение отключает метрики |
string |
prometheus |
нет |
management.endpoints.web.path-mapping.prometheus |
Путь до endpoint с метриками Actuator |
string |
/metrics |
нет |
common.actuator.basic-auth.enabled |
Включение/выключение Basic Auth для Actuator. Если выключен, то метрики будут использовать дефолтный для сервиса механизм аутентификации. |
boolean |
false |
нет |
common.actuator.basic-auth.user |
Имя пользователя для Basic Auth для Actuator |
metrics_viewer |
нет |
|
common.actuator.basic-auth.password |
Пароль пользователя для Basic Auth для Actuator |
- |
нет |
Мониторинг сервисов с помощью Actuator:
Параметр |
Описание |
Тип параметра |
Значение по умолчанию |
|---|---|---|---|
management.endpoints.web.exposure.include |
Список включенных endpoints Actuator, поддерживается только prometheus, пустое значение отключает метрики |
string |
prometheus |
management.endpoints.web.path-mapping.prometheus |
Путь до endpoint с метриками |
string |
/metrics |
common.actuator.basic-auth.enabled |
Выключатель Basic Auth, если выключен, то метрики будут использовать дефолтный для сервиса механизм аутентификации |
boolean |
false |
common.actuator.basic-auth.user |
Имя пользователя для Basic Auth |
string |
metrics_viewer |
common.actuator.basic-auth.password |
Пароль для Basic Auth |
password |