Сервис передачи сообщений аудита (idmx-datapipe)#

# Модуль, осуществляющий аггрегацию, обработку и отправку сообщений аудита при интеграции с внешними системами аудита
datapipe:
  enabled: false
  # Аннотации для всех ресурсов сервиса (Deployment, Service, ConfigMap и т.д.). Применяются к metadata.annotations каждого ресурса
  annotations: {}
    # argocd.argoproj.io/sync-wave: '-2'
  # Аннотации для Pod. Применяются к spec.template.metadata.annotations в Deployment
  podAnnotations: {}
  # Количество реплик приложения idmx-datapipe
  replicas: 1
  # Наименование kubernetes secret, который будет использовать idmx-datapipe
  secretName: "idmx-secrets"
  # Настройка используемого образа idmx-datapipe
  image:
    # Адрес реестра с образами. Если не указан, используется значение переменной global.registry
    registry: ""
    # Название репозитория в реестре, где находится образ
    repository: ""
    # Тег образа
    tag: ""
    # Хэш образа, начинается с 'sha256:'. Если указан, имеет приоритет над тегом
    digest: ""

  # Подключение к БД idmx-datapipe
  database:
    enabled: true
    # Использовать mTLS при подключении к БД idmx-datapipe
    # При использовании MTLS без Service Mesh или с RedHat Service Mesh:
    # jdbc:postgresql://db-hostname:127.0.0.1:5432/db-name?prepareThreshold=0&ssl=true&sslmode=verify-full&sslcert=/vault/secrets/postgres-datapipe/postgres_datapipe_cert&sslkey=/vault/secrets/postgres-datapipe/postgres_datapipe_pk8&sslrootcert=/vault/secrets/postgres-datapipe/postgres_datapipe_ca
    # При использовании MTLS и Synapse Service Mesh:
    # jdbc:postgresql://db-hostname:127.0.0.1:5432/db-name?prepareThreshold=0&sslmode=disable
    mtls: true
    # URL, по которому IDMX будет подключаться к системной БД. <DB_EXTERNAL_PORT> указывается обязательно. Значения перечисляются через ',' в формате:
    # <DB_HOST>:<DB_IP>:<DB_EXTERNAL_PORT>, где:
    # <DB_HOST> — FQDN узла, на котором расположена системная БД IDMX (обязательно для работы с Service Mesh);
    # <DB_IP> — IP-адрес узла (обязательно для работы с Service Mesh);
    # <DB_EXTERNAL_PORT> — порт внешнего узла (сервера с системной БД).
    url: "jdbc:postgresql://db-hostname:127.0.0.1:5432/db-name?prepareThreshold=0&sslmode=disable"
    # # Настройки пула подключений к БД
    # (полное описание см. в настройках HikariCP: https://github.com/brettwooldridge/HikariCP)
    hikariCP:
      # Настройки подключения к БД idmx-datapipe
      datapipe:
        # Минимальное количество соединений в пуле
        minPoolSize: 2
        # Максимальное количество соединений в пуле
        maxPoolSize: 10
        # Максимальное время жизни соединения в пуле
        maxLifetime: 0
        # Время, в течение которого соединению разрешено простаивать в пуле
        idleTimeout: 600000
        # Как часто нужно посылать запросы (ping) через соединение, чтобы предотвратить его тайм-аут из-за базы данных или сетевой инфраструктуры (0 - отключено)
        keepaliveTime: 0
        # Время, в течение которого соединение может находиться вне пула, прежде чем будет зарегистрировано сообщение, указывающее на возможную утечку соединения (0 - отключено)
        leakDetectionThreshold: 0
        # Максимальное время, в течение которого клиент будет ждать соединения из пула
        connectionTimeout: 30000
        # Время, в течение которого соединение будет проверяться на работоспособность
        validationTimeout: 5000
        # Время, по истечению которого пул будет выходить из строя (fail-fast), если он не может быть успешно проинициализирован.
        initializationFailTimeout: 1
        # Максимальное время ожидания ответа от БД
        networkTimeout: 60000
        # Значение тайм-аута, используемое для операций чтения.
        socketTimeout: 30
      # Настройки подключения к основной БД idmx-engine
      main:
        # Минимальное количество соединений в пуле
        minPoolSize: 2
        # Максимальное количество соединений в пуле
        maxPoolSize: 10
        # Максимальное время жизни соединения в пуле
        maxLifetime: 0
        # Время, в течение которого соединению разрешено простаивать в пуле
        idleTimeout: 600000
        # Как часто нужно посылать запросы (ping) через соединение, чтобы предотвратить его тайм-аут из-за базы данных или сетевой инфраструктуры (0 - отключено)
        keepaliveTime: 0
        # Время, в течение которого соединение может находиться вне пула, прежде чем будет зарегистрировано сообщение, указывающее на возможную утечку соединения (0 - отключено)
        leakDetectionThreshold: 0
        # Максимальное время, в течение которого клиент будет ждать соединения из пула
        connectionTimeout: 30000
        # Время, в течение которого соединение будет проверяться на работоспособность
        validationTimeout: 5000
        # Время, по истечению которого пул будет выходить из строя (fail-fast), если он не может быть успешно проинициализирован.
        initializationFailTimeout: 1
        # Максимальное время ожидания ответа от БД
        networkTimeout: 60000
        # Значение тайм-аута, используемое для операций чтения.
        socketTimeout: 30
      # Настройки подключения к БД с аудитом idmx-datapipe, если аудит вынесен в отдельную БД
      audit:
        # Минимальное количество соединений в пуле
        minPoolSize: 2
        # Максимальное количество соединений в пуле
        maxPoolSize: 10
        # Максимальное время жизни соединения в пуле
        maxLifetime: 0
        # Время, в течение которого соединению разрешено простаивать в пуле
        idleTimeout: 600000
        # Как часто нужно посылать запросы (ping) через соединение, чтобы предотвратить его тайм-аут из-за базы данных или сетевой инфраструктуры (0 - отключено)
        keepaliveTime: 0
        # Время, в течение которого соединение может находиться вне пула, прежде чем будет зарегистрировано сообщение, указывающее на возможную утечку соединения (0 - отключено)
        leakDetectionThreshold: 0
        # Максимальное время, в течение которого клиент будет ждать соединения из пула
        connectionTimeout: 30000
        # Время, в течение которого соединение будет проверяться на работоспособность
        validationTimeout: 5000
        # Время, по истечению которого пул будет выходить из строя (fail-fast), если он не может быть успешно проинициализирован.
        initializationFailTimeout: 1
        # Максимальное время ожидания ответа от БД
        networkTimeout: 60000
        # Значение тайм-аута, используемое для операций чтения.
        socketTimeout: 30

  # Настройка отправки сообщений аудита в Kafka
  kafka:
    enabled: true
    # Параметр определяет, будет ли использоваться mTLS для подключения к Kafka
    mtls: true
    # Параметр определяет брокеров Kafka, через которых будут отправляться сообщения аудита IDMX.
    # Значения перечисляются через ',' в формате <HOST>:<IP>:<PORT>, где:
    # <HOST> — FQDN внешнего узла;
    # <IP> — IP-адрес внешнего узла;
    # <PORT> — порт внешнего узла.
    brokers: "kafka-hostname:127.0.0.1:9093"
    # Параметр определяет топики Kafka, в которых будут отправляться сообщения аудита IDMX
    eventTopic: "event"
    # Параметр определяет топики Kafka для метамоделей
    metamodelTopic: "metamodel"
    # Максимальное время ожидания ответа от Kafka
    requestTimeoutMs: 10000
    # Максимальное время отправки сообщения в Kafka, включая время отправки, ожидание ответа и т.д.
    # Должно быть больше чем requestTimeoutMs
    deliveryTimeoutMs: 11000

  # Дополнительные опции запуска для Java-машины
  javaOptsExtra: "-XX:+AlwaysPreTouch -server -XX:InitialRAMPercentage=50.0 -XX:+UseContainerSupport -XX:MaxRAMPercentage=70.0 -XX:+UseG1GC -XX:MaxGCPauseMillis=100"
  # Параметр определяет периодичность запуска сущности инструмента Jenkins (Jenkins job)
  # Например, */10 * * * * * - запуск сущности инструмента Jenkins (Jenkins job) каждые 10 секунд
  cron: "*/10 * * * * *"
  # Время, с которого будут вычитываться события аудита при первом запуске
  # Возможные значения:
  # ZERO - все события из базы
  # NOW - события начиная с текущего момента
  # YYYY-MM-DD HH:MM:SS.sss +HHMM - события с определенной временной метки.
  # При указании таймзоны (+HHMM в значении параметра), необходимо указывать таймзону такую же, как и в БД событий аудита.
  # Например, можно взять значение из поля timestamp таблицы ma_audit_event и вставить его в значение параметра
  initReadFrom: "NOW"
  # Размер обрабатываемого блока событий
  chunkSize: 10
  # Количество событий считываемых из базы одним запросом
  auditReadPageSize: 80
  # Количество потоков, обрабатывающих события аудита
  workersPoolSize: 4
  # Период между проверкам доступности БД аудита
  dbHealthCheckPeriodMs: 10000
  # Максимальное время проверки доступности кафки
  kafkaHealthCheckTimeoutMs: 10000
  # Настройка политик повторов операций при возникновении ошибок
  retryPolicies:
    # Количество попыток на этапе чтения (1 - общее количество попыток, включая первую)
    readerMaxAttempts: 1
    # Количество попыток на этапе маппинга (1 - общее количество попыток, включая первую)
    processorMaxAttempts: 1
    # Количество попыток на этапе отправки в кафку (1 - общее количество попыток, включая первую)
    writerMaxAttempts: 1
  # Настройка обновления секретов в рантайме (без перезапуска контейнера)
  secretsHotReload:
    enabled: true
    # Количество попыток считывания нового секрета после обновления (в случае ошибок считывания)
    maxReadAttempts: 3
    # Период между повторными попытками считывания секрета (в случае ошибок)
    retryDelaySec: 10
    # Период между считываниями секрета в секундах
    pollingPeriodSec: 60
    # Поведение при неуспешном обновлении: FAIL_SAFE - продолжить работу со старыми секретами, FAIL_FAST - завершить работу с ошибкой
    hotReloadStrategy: "FAIL_SAFE"

  # Настройка включения кэширования объектов ResourceType, TaskType, ArchetypeType
  cache:
    enabled: true
    # Максимальное количество объектов в кэше
    maximumSize: 100
    # Время, после которого записи удаляются из кэша
    # Например, P2DT3H4M преобразуется в 2 дня, 3 часа и 4 минуты
    expireAfterWrite: "P1D"
    # Включение статистики кэша в метриках
    recordMetrics: true

  # Настройка интеграции с Prometheus для idmx-datapipe
  prometheus:
    # Параметр определяет, включен ли сбор данных Prometheus
    scrape: true
    # Порт, на котором Prometheus будет осуществлять сбор данных
    port: 9090
    # Путь, по которому Prometheus может получить данные
    path: "/actuator/prometheus"

  # Вычислительные ресурсы, необходимые контейнеру idmx-datapipe
  resources:
    requests:
      # Количество ядер процессора, которое будет запрошено для контейнера
      cpu: 1
      # Минимальный объем оперативной памяти, который будет запрошен для контейнера
      memory: 2Gi
      # Минимальный объем временного хранилища, который будет запрошен для контейнера
      ephemeral-storage: 1Gi
    limits:
      # Максимальное количество ядер процессора, которое будет выделено для контейнера
      cpu: 1
      # Максимальный объем оперативной памяти, который будет выделен для контейнера
      memory: 2Gi
      # Максимальный объем временного хранилища, который будет выделен для контейнера
      ephemeral-storage: 1Gi

  # Настройка проверки готовности контейнера idmx-datapipe
  readinessProbe:
    # Количество секунд, которое должно пройти после запуска контейнера, прежде чем начнется проверка готовности
    initialDelaySeconds: 30
    # Максимальное количество времени ожидания для каждой проверки готовности
    timeoutSeconds: 2
    # Интервал между последовательными проверками готовности
    periodSeconds: 10
    # Количество последовательных успешных проверок, необходимых для того, чтобы считать контейнер готовым
    successThreshold: 1
    # Количество последовательных неудачных проверок, после которых контейнер считается неготовым
    failureThreshold: 15
  # Настройка проверки жизнеспособности контейнера idmx-datapipe
  livenessProbe:
    # Количество секунд, которое должно пройти после запуска контейнера, прежде чем начнется проверка жизнеспособности
    initialDelaySeconds: 30
    # Максимальное количество времени ожидания для каждой проверки жизнеспособности
    timeoutSeconds: 2
    # Интервал между последовательными проверками жизнеспособности
    periodSeconds: 10
    # Количество последовательных успешных проверок, необходимых для того, чтобы считать контейнер активным
    successThreshold: 1
    # Количество последовательных неудачных проверок, после которых контейнер считается неактивным
    failureThreshold: 15

  # Приоритет выполнения для idmx-datapipe в кластере
  priorityClassName: null
  # Включение распределения экземпляров idmx-datapipe по разным узлам среды исполнения.
  # Если true - планировщик попытается распределить экземпляры idmx-datapipe по разным узлам.
  # При невозможности такого распределения, экземпляры все равно будут запланированы.
  selfAntiAffinity: false
  # Стратегия обновления, которая определяет, как заменяются старые поды новыми.
  strategy:
    # 'Recreate' — удаляет все существующие поды перед созданием новых.
    # 'RollingUpdate' — заменяет старые ReplicaSets на новые постепенно, уменьшая количество старых реплик и увеличивая новые.
    type: "RollingUpdate"
    # Параметры rolling-обновления. Присутствует только если type = RollingUpdate.
    rollingUpdate:
      # Параметр определяет, сколько подов может быть недоступно во время обновления.
      maxUnavailable: 0
      # Параметр определяет, насколько можно превысить желаемое число подов.
      maxSurge: 25%

  # Настройка атрибутов безопасности
  securityContext:
    # Устанавливает группу пользователей для всех файлов в томе, когда том монтируется в Pod
    fsGroup: null
    # UID, с которым будет запущен контейнер idmx-datapipe
    runAsUser: null
    # GID, с которым будет запущен контейнер idmx-datapipe
    runAsGroup: null

  # Настройка внешнего источника схемы IDMX для idmx-datapipe
  initConnectorsLoad:
    # container - в случае использования init контейнер, download - в случае загрузки схемы из внешнего сервиса
    type: null
    # если type: download, указываем адрес внешнего ресурса
    source: null
    tries:
      # Количество попыток загрузить коннекторы из внешнего ресурса
      count: 15
      # Время ожидания в секундах, между попытками загрузить коннекторы из внешнего ресурса
      timeout: 3
    # Настройка используемого образа init контейнера
    image:
      # Адрес реестра с образами. Если не указан, используется значение переменной global.registry
      registry: ""
      # Название репозитория в реестре, где находится образ
      repository: ""
      # Тег образа
      tag: ""
      # Хэш образа, начинается с 'sha256:'. Если указан, имеет приоритет над тегом
      digest: ""
    # Вычислительные ресурсы, необходимые init контейнеру
    resources:
      requests:
        # Количество ядер процессора, которое будет запрошено для контейнера
        cpu: 100m
        # Минимальный объем оперативной памяти, который будет запрошен для контейнера
        memory: 128Mi
        # Минимальный объем временного хранилища, который будет запрошен для контейнера
        ephemeral-storage: 128Mi
      limits:
        # Максимальное количество ядер процессора, которое будет выделено для контейнера
        cpu: 200m
        # Максимальный объем оперативной памяти, который будет выделен для контейнера
        memory: 256Mi
        # Максимальный объем временного хранилища, который будет выделен для контейнера
        ephemeral-storage: 256Mi
    # Настройка атрибутов безопасности
    securityContext:
      # UID, с которым будет запущен init контейнер с коннекторами
      runAsUser: null
      # GID, с которым будет запущен init контейнер с коннекторами
      runAsGroup: null

  # Настройка sidecars приложения idmx-datapipe
  sidecars:
    secman:
      # Вычислительные ресурсы, необходимые sidecar контейнеру secman
      resources:
        requests:
          # Количество ядер процессора, которое будет запрошено для контейнера
          cpu: 50m
          # Минимальный объем оперативной памяти, который будет запрошен для контейнера
          memory: 64Mi
          # Минимальный объем временного хранилища, который будет запрошен для контейнера
          ephemeralStorage: 128Mi
        limits:
          # Максимальное количество ядер процессора, которое будет выделено для контейнера
          cpu: 100m
          # Максимальный объем оперативной памяти, который будет выделен для контейнера
          memory: 128Mi
          # Максимальный объем временного хранилища, который будет выделен для контейнера
          ephemeralStorage: 256Mi
      # Настройка атрибутов безопасности
      securityContext:
        # UID, с которым будет запущен sidecar контейнер secman
        runAsUser: null
        # GID, с которым будет запущен sidecar контейнер secman
        runAsGroup: null
    mesh:
      # Вычислительные ресурсы, необходимые sidecar контейнеру Service Mesh
      resources:
        requests:
          # Количество ядер процессора, которое будет запрошено для контейнера
          cpu: 400m
          # Минимальный объем оперативной памяти, который будет запрошен для контейнера
          memory: 512Mi
        limits:
          # Максимальное количество ядер процессора, которое будет выделено для контейнера
          cpu: 400m
          # Максимальный объем оперативной памяти, который будет выделен для контейнера
          memory: 1Gi