Проверка лага на topic (отставание consumerGroup по topics)#

С помощью ansible#

На сервере, с которого производилась установка, выполнить команду:

bin/kafka-consumer-groups.sh --bootstrap-server `hostname -f`:<порт> --group <наименование группы> --topic <наименование topic> --reset-offsets --to-current --command-config ~/ssl_adm.properties

С помощью Jenkins#

Проверить лаг на topic можно с помощью Jenkins job kafka_config_deploy с тегом check_consumer_groups (покажет список ConsumerGroup с лагом) с выбором сертификата администратора в поле admin_jks_file.

Процесс создания Jenkins job kafka_config_deploy описан в документе Руководство по установке, раздел Jenkins Job для установки конфигурационного дистрибутива.

Настраиваемые параметры kafka_config_deploy:

• job_config_renew — отвечает за обновление Jenkins Job. При установке приложения должен быть выключен (false). Для обновления текущих параметров и сохранения значений по умолчанию должен быть включен (true);

• inventory — имя inventory;

• nexusUrl — полный путь до конфигурационного дистрибутива в пространстве Nexus (можно указать несколько через запятую);

• tags — cписок тегов. Первая установка приложения выполняется без выбора тегов. В случае, если необходима частичная установка, то можно выбрать определенные теги:

  • check_consumer_groups — проверка списка ConsumerGroup;

  • erase_acls — удаление ACLs;

  • print_acls — просмотр списка ACLs на кластере ;

  • print_topics — просмотр списка topics на кластере;

  • print_topics_with_configs — просмотр конфигурации topics на кластере.

• admin_jks_file — сертификат администратора;

• admin_jks_cred — Jenkins secret file Credential ID хранящий сертификат администратора в HashiCorp Vault. Чтобы получить сертификат администратора из HashiCorp Vault, необходимо заполнить параметр secman_url в формате: JenkinsCredID|SecManPath:SecManKey|SecManParams, где:

  • JenkinsСredID — Jenkins Vault App Role Credential ID c реквизитами для подключения к HashiCorp Vault;

  • SecManPath — путь к секретам в HashiCorp Vault;

  • SecManKeys — имена полей для JKS администратора в HashiCorp Vault и пароля от него через запятую.

    • Окончание имени поля для JKS администратора должно быть Base64;

    • JKS администратора в HashiCorp Vault должен храниться в KV хранилище в Base64 формате;

    • Поле пароля для JKS администратора опционально, в случае его отсутствия пароль будет запрошен в интерактивном режиме.

  • SecManParams — параметры для подключения к HashiCorp Vault (через точку с запятой). Если данные параметры по умолчанию, то пропускаются вместе с «|». Примеры:

    • SecManAppRoleCred|/CI01994970_CI02618129_ES/A/DEV/APP/JEN/KV/kafka:admin_jks;

    • SecManAppRoleCred|/CI01994970_CI02618129_ES/A/DEV/APP/JEN/KV/kafka:admin_jks|engineVersion:2.

• emailto — список адресов электронной почты для отправки результатов (письмо исполнителю упадет автоматически);

• jenkins_slave — выбор Slave Jenkins;

• custom_vault_password — запрашивать ли дополнительный ansible vault пароль в интерактивном режиме?

• jdk_tool — наименование Jenkins Tool с необходимой версией JDK. Конкретное значение необходимо получить у администратора Jenkins;

• ansible_branch — ветка скриптов развертывания;

• ansible_version — указание Jenkins Tool с необходимой версией Ansible. Конкретное значение необходимо получить у администратора Jenkins;

• nexus_user_cred — Jenkins Username with Password credential ID для выкачивания дистрибутива. При задании параметра secman_url — полный путь в HashiCorp Vault до имени пользователя и пароля. Например: {Jenkins *Vault App Role credential* ID для получения секретов из HashiCorp Vault}|path/to/nexus:{user},{password};

• vault_cred — Jenkins secret file credential ID со строкой для расшифровки паролей (ansible vault) (можно указывать несколько через запятую). При задании параметра secman_url — полный путь в HashiCorp Vault до пароля. Например: {Jenkins *Vault App Role credential* ID_1}|/path/to/vault:{password_1}, {Jenkins *Vault App Role credential* ID_2}|/path/to/vault:{password_2}. В качестве пароля можно использовать не строку, а файл в base64 формате с ключом секрета, заканчивающимся на Base64, например myVaultBase64;

• server_ssh_cred — Jenkins ssh key Credential ID с ssh ключом для подключения к конечным серверам. Чтобы получить ssh_username, ssh_key, ssh_key_passsphrase для подключения к серверам из HashiCorp Vault, необходимо заполнить параметр secman_url в формате: JenkinsCredID|SecManPath:SecManKeys|SecManParams, где:

  • JenkinsСredID — Jenkins Vault App Role Credential ID, содержащий реквизиты для подключения к HashiCorp Vault;

  • SecManPath — путь к секретам в HashiCorp Vault;

  • SecManKeys — имена полей для JKS администратора в HashiCorp Vault и пароля от него через запятую.

    • Окончание имени поля для JKS администратора должно быть Base64;

    • JKS администратора в HashiCorp Vault должен храниться в KV хранилище в Base64 формате;

    • Поле пароля для JKS администратора опционально, в случае его отсутствия пароль будет запрошен в интерактивном режиме.

  • SecManParams — параметры подключения к HashiCorp Vault (через точку с запятой). Если данные параметры по умолчанию, то пропускаются вместе с «|» (в качестве ключа можно использовать не строку, а файл в base64 формате и секрет в HashiCorp Vault с именем, оканчивающимся на «Base64», например: myPrivateKeyBase64). Примеры:

    • SecManAppRoleCred|/CI01994970_CI02618129_ES/A/DEV/APP/JEN/KV/vault:ssh_username,ssh_key

    • SecManAppRoleCred|/CI01994970_CI02618129_ES/A/DEV/APP/JEN/KV/vault:ssh_username,ssh_key,ssh_key_passphrase

    • SecManAppRoleCred|/CI01994970_CI02618129_ES/A/DEV/APP/JEN/KV/vault:ssh_username,ssh_key,ssh_key_passphrase|engineVersion:2.

• secman_url — URL для подключения к HashiCorp Vault;

• ssl_verify — проверка, являются ли сертификаты HashiCorp Vault/Nexus доверенными;

• inventories_repo — репозиторий с inventory. Данный пункт применим, если inventory были созданы в другом репозитории, отличным от того, где лежат скрипты;

• inventories_branch — ветка репозитория, где находятся inventory. Данный пункт применим, если inventory были созданы в другом репозитории, отличным от того, где лежат скрипты;

• inventories_path — путь до inventories от корня репозитория (значение Ansible/inventories).