Шаг 2. Установка контроллера (kraft controller или zookeeper) и брокера (kafka)#

Порядок установки#

Подготовка конфигурации для использования#

Перед установкой выполните действия, приведенные в разделе Подготовка окружения.

Изменение параметров установки и параметров работы контроллера (kraft controller или zookeeper) и брокера (kafka)#

В созданном файле $HOME/corax-distrib/KFK-x.y.z-b/Corax-ansible-x.y.z-b/inv/stand-corax.yml, при необходимости можно переназначать параметры установки, добавляя в раздел all-vars структуру:

zookeeper:
  distr: "kafka-patched.zip" # путь до приложения относительно /files
  installdir: "/opt/Apache/kafka" # абсолютный путь на конечном сервере до приложения
  logdir: "/opt/Apache/kafka/logs" # абсолютный путь на конечном сервере до логов приложения
  datadir: "/zookeeper" # абсолютный путь на конечном сервере до данных приложения
  cleanLog: "true" # очистить путь до логов при установке
  cleanData: "true" # очистить путь до данных при установке
  xms: "128m" # начальный heap size
  xmx: "1G" # максимальный heap size
  port: "2181" # используемый порт

kafka_controller:
  distr: "kafka-patched.zip" # путь до приложения относительно /files
  installdir: "/opt/Apache/controller" # абсолютный путь на конечном сервере до приложения
  tmpdir: "/opt/Apache/.new_release" # абсолютный путь на конечном сервере до приложения
  logdir: "/opt/Apache/controller/logs" # абсолютный путь на конечном сервере до логов приложения
  datadir: "/KAFKACONTROLLER" # абсолютный путь на конечном сервере до данных приложения (через запятую, если путей несколько)
  cleanLog: "false" # очистить путь до логов при установке
  cleanData: "false" # очистить путь до данных при установке
  xms: "128m" # начальный heap size
  xmx: "1G" # максимальный heap size
  port: "2181" # используемый порт

kafka:
  distr: "kafka-patched.zip" # путь до приложения относительно /files
  installdir: "/opt/Apache/kafka" # абсолютный путь на конечном сервере до приложения
  logdir: "/opt/Apache/kafka/logs" # абсолютный путь на конечном сервере до логов приложения
  datadir: "/KAFKADATA" # абсолютный путь на конечном сервере до данных приложения (через запятую, если путей несколько)
  cleanLog: "false" # очистить путь до логов при установке
  cleanData: "false" # очистить путь до данных при установке
  xms: "256m" # начальный heap size
  xmx: "5G" # максимальный heap size
  port: "9093" # используемый порт
  jmx:
    port: "7010" # порт для подключения по JMX
    users: # переменные для генерации доступов. Если переменная не определена, то текущие доступы не меняются
      - user: "myuser"
        access: "readonly"
        password: "mypassword"

Дополнительные параметры для использования профилей с SSL#

Подготовка для использования профилей с SSL состоит из:

1. Подготовки X509 сертификата.

2. Подготовки ansible vars.

ls | grep -v "*.jks" | xargs rm -f

Подготовка ansible vars#

В созданном файле $HOME/corax-distrib/KFK-x.y.z-b/Corax-ansible-x.y.z-b/inv/stand-corax.yml, добавить параметры для работы с SSL:

zookeeper:
  trustStorePath: "ssl/zookeeper.jks" # путь от inventories/_стенд_/ до файла с trustStore
  trustStorePassword: "changeit" # пароль от trustStore
  keyStorePath: "ssl/zookeeper.jks " # путь от inventories/_стенд_/ до файла с keyStore
  keyStorePassword: "changeit" # пароль от keyStore

kafka_controller:
  trustStorePath: "ssl/kafka_conroller.jks" # путь от inventories/_стенд_/ до файла с trustStore (или абсолютный на сервере при needUploadJks: false)
  trustStorePassword: "changeit" # пароль от trustStore
  keyStorePath: "ssl/kafka_conroller.jks" # путь от inventories/_стенд_/ до файла с keyStore (или абсолютный на сервере при needUploadJks: false)
  keyStorePassword: "changeit" # пароль от keyStore
  keyPassword: "changeit" # пароль от ключа в хранилище

kafka:
  trustStorePath: "ssl/kafka.jks" # путь от inventories/_стенд_/ до файла с trustStore (или абсолютный на сервере при needUploadJks: false)
  trustStorePassword: "SeCuRePaSsWorD2" # пароль от trustStore
  keyStorePath: "ssl/kafka.jks" # путь от inventories/_стенд_/ до файла с keyStore (или абсолютный на сервере при needUploadJks: false)
  keyStorePassword: "SeCuRePaSsWorD2" # пароль от keyStore
  keyPassword: "SeCuRePaSsWorD2" # пароль от ключа в хранилище

Дополнительные параметры для использования профилей с AUDIT#

Подготовка ansible vars#

В созданном файле $HOME/corax-distrib/KFK-x.y.z-b/Corax-ansible-x.y.z-b/inv/stand-corax.yml, дополнить параметрами для работы с AUDIT:

config_audit:  # настройки аудита
  url: "https://localhost:8084" # префикс url для отправки событий аудита  system_id: "CORAX" # Имя приложения для аудита (по умолчанию "APPLICATION NAME FOR AUDIT")
  trustStorePath: "ssl/kafka.jks" # путь от inv/_стенд_/ до файла хранилища доверенных сертификатов
  trustStorePassword: "<password>" # пароль от хранилища доверенных сертификатов
  keyStorePath: "ssl/kafka.jks" # путь от inv/_стенд_/ до файла хранилища ключей
  keyStorePassword: "<password>" # пароль от хранилища ключей
  keyPassword: "<password>" # пароль от ключа в хранилище

Дополнительные параметры для использования профилей с SECMAN#

При использовании профиля SSL__ZK_mTLS_WITH_AUTH__KAFKA_SSL_WITH_AUTH__SECMAN подготовка сертификатов X509 не требуется. Управление сертификатами и секретами происходит с помощью Secret Management System (SecMan).

В созданном файле $HOME/corax-distrib/KFK-x.y.z-b/Corax-ansible-x.y.z-b/inv/stand-corax.yml, дополнить параметрами для работы с SECMAN:

config_secman:
  endpoint: 'secman_url' # адрес хоста Sec_Man
  namespace: 'name_space' # пространство, в котором хранятся секреты
  path: 'container_path' # путь к контейнеру с секретами
  secret_name: 'container_name' # имя контейнера с секретами
  opentimeout: '20' # время ожидания соединения (секунды)
  readtimeout: '20' # время ожидания получения (секунды)
  tokenttl: '120' # время жизни токена (секунды)
  fetchrole: 'role-secman-CA-name' # имя роли для работы с удостоверяющим центром (CA) SECMAN
  fetchmount: 'PKI' # (путь) адрес CA SECMAN
  fetchcn: 'test.corax' # Common Name в сертификате
  put_enable: false # включение создания контейнера секретов в Sec_Man
  connectDict: # данные для авторизации в Sec_Man
    role_id:   "role_id_xxx"
    secret_id: "secret_id_xxx"

Запуск ansible-playbook#

Для запуска playbook выполните:

1. Перейдите в каталог со сценариями ansible командой cd $HOME/corax-distrib/KFK-x.y.z-b/Corax-ansible-x.y.z-b/.

2. Выполните команду ansible-playbook -i inv/stand-corax.yml playbooks/kafka-crxui-crxsr.yml и дождитесь завершения выполнения.

В случае успешного выполнения в stdout, в разделе PLAY RECAP, должно появиться unreachable=0 failed=0 напротив каждого хоста.

Описание тегов для применения при установке#

Проверка результата#

Проверка работоспособности на хостах группы Kafka#

1. Подключитесь по ssh к хосту из ansible группы kafka.

2. Выполните команду ps axu | grep -v 'grep' | grep java.*kafka/server.properties. Должен отобразиться 1 запущенный процесс.

3. Выполните пункты 1-2 для остальных хостов ansible группы kafka.

Проверка работоспособности на хостах группы ZooKeeper#

1. Подключитесь по ssh к хосту из ansible группы ZooKeeper.

2. Выполните команду ps axu | grep -v 'grep' | grep java.*config/zookeeper.properties. Должен отобразиться 1 запущенный процесс.

3. Выполните пункты 1-2 для остальных хостов ansible группы zookeeper.

Проверка работоспособности подключением через Kafka Tool / Offset Explorer#

1. Запустите Offset Explorer / Kafka Tool.

2. В элементе Cluster выберите Import Connection.

3. Импортируйте xml файл с конфигурацией подключения из примеров ниже (при необходимости отредактируйте параметры подключения под свое окружение):

   • для протокола безопасности SSL__ZK_mTLS_WITH_AUTH__KAFKA_SSL_WITH_AUTH:

     <?xml version="1.0" encoding="UTF-8" standalone="no"?>
     <connections>
     <connection bootstrap_servers="<host-ip-address>:9093" broker_security_type="SSL" chroot="/" group="Clusters" groupId="1" host="10.XX.XX.XX" jaas_config="" keystore_location="C:\Users\User\Desktop\server.kafka.jks" keystore_password="<password>" keystore_privatekey="<password>" name="10.XX.XX.XX" port="2181" sasl_mechanism="" schema_registry_endpoint="" truststore_location="C:\Users\User\Desktop\truststore.kafka.jks" truststore_password="<password>" version="VERSION_1_0_0"/>
     <groups>
     <group id="1" name="Clusters"/>
     </groups>
     </connections>
     

   • для протокола безопасности PLAINTEXT__ZK_PLAIN_NO_AUTH__KAFKA_PLAINTEXT_NO_AUTH:

     <?xml version="1.0" encoding="UTF-8" standalone="no"?>
     <connections>
     <connection bootstrap_servers="<host-ip-address>:9093" broker_security_type="PLAINTEXT" chroot="/" group="Clusters" groupId="1" host="10.XX.XX.XX" jaas_config="" keystore_location="" keystore_password="" keystore_privatekey="" name="10.XX.XX.XX" port="2181" sasl_mechanism="" schema_registry_endpoint="" truststore_location="" truststore_password="" version="VERSION_1_0_0"/>
     <groups>
     <group id="1" name="Clusters"/>
     </groups>
     </connections>
     

4. Подключитесь к кластеру и убедитесь, что на вкладке Brokers видны все брокеры, на которые выполнялась установка.