Пaраметр kafka_settings#

Группа параметров kafka_settings предназначена для конфигурирования librdkafka.

Опциональные параметры:

• settings

  Тип параметра: последовательность параметров и их значения.

  По умолчанию: не имеет значения по умолчанию.

  Обязательные параметры:

  • brokers

    В значении параметра список брокеров kafka. Для разделения значений используется знак «,».

    Тип параметра: текстовое значение.

    По умолчанию: не имеет значения по умолчанию.

  Опциональные параметры:

  • client_id

    В значении параметра задается идентификатор клиента kafka.

    Тип параметра: текстовое значение.

    По умолчанию: не имеет значения по умолчанию.

  • compression

    В значении параметра задается формат сжатия сообщений.

    Тип параметра: текстовое значение:

    • none;

    • gzip;

    • snappy;

    • lz4;

    • zstd.

    По умолчанию:

    compression: snappy
    

  • partition

    В значении параметра указывается идентификатор раздела.

    Тип параметра: текстовое значение.

    По умолчанию: по умолчанию раздел автоматически назначается в соответствии с идентификатором сообщения.

  • partitioner

    В значении параметра указывается partitioner для доставки сообщения.

    Тип параметра: текстовое значение:

    • random;

    • consistent;

    • consistent_random;

    • murmur2;

    • murmur2_random;

    • fnv1a;

    • fnv1a_random.

    По умолчанию: не имеет значения по умолчанию.

  • log_level

    В значении параметра задается уровень логирования.

    Тип параметра: целочисленное значение:

    min: 0.

    max: 7.

    По умолчанию:

    log_level: 6
    

  • max_retries

    В значении параметра задается максимальное количество попыток отправки неудачных MessageSet. Повторная попытка подразумевает переупорядочивание.

    Тип параметра: целочисленное значение:

    min: 0.

    max: 10000000.

    По умолчанию: не имеет значения по умолчанию.

  • buffer_max_messages

    В значении параметра указывается максимальное количество сообщений, доступных в очереди.

    Тип параметра: целочисленное значение:

    min: 0.

    max: 10000000.

    По умолчанию:

    buffer_max_messages: 100000
    

  • backoff

    В значении параметра задается временной интервал отсрочки передачи в миллисекундах.

    Тип параметра: целочисленное значение:

    min: 0.

    max: 3600000.

    По умолчанию:

    backoff: 100
    

  • compression_level

    В значении параметра задается уровень компрессии.

    Тип параметра: целочисленное значение:

    min: -1.

    max: 12.

    По умолчанию: не имеет значения по умолчанию.

  • message_max_bytes

    В значении параметра задается максимальный размер сообщения запроса по протоколу kafka.

    Тип параметра: целочисленное значение:

    min: 1000.

    max: 1000000000.

    По умолчанию:

    message_max_bytes: 1000000
    

  • message_copy_max_bytes

    В значении параметра задается максимальный размер сообщения, которое будет скопировано в буфер.

    Тип параметра: целочисленное значение:

    min: 1000.

    max: 1000000000.

    По умолчанию:

    message_copy_max_bytes: 65535
    

  • message_timeout

    В значении параметра задается таймаут для сообщений. Данное значение используется локально и определяет время ожидания успешной доставки сообщения.

    Тип параметра: целочисленное значение:

    min: 0.

    max: 900000.

    По умолчанию:

    message_timeout: 300000
    

  • topic_metadata_refresh_interval

    В значении параметра задается временной интервал времени в миллисекундах, в течение которого происходит обновление данных в topic и брокере.

    Тип параметра: целочисленное значение:

    min: -1.

    max: 3600000.

    По умолчанию:

    topic_metadata_refresh_interval: 300000
    

  • ssl_endpoint_identification_algorithm

    В значении параметра задается алгоритм для валидации хостнейма брокера, использующего сертификат.

    Тип параметра: текстовое значение:

    • none;

    • https.

    По умолчанию: не имеет значения по умолчанию.

  • ssl_certificate_verification

    Вкл./Откл. верификацию сертификата.

    Тип параметра: логическое значение.

    По умолчанию:

    ssl_certificate_verification: on
    

  • debug

    Вкл./Откл. журналирование уровня debug.

    Тип параметра: логическое значение.

    По умолчанию: не имеет значения по умолчанию.

  • ssl

    Вкл./Откл. поддержку ssl/tls.

    Тип параметра: логическое значение.

    По умолчанию: не имеет значения по умолчанию.

  • ssl_keystore

    В значении параметра задается путь к хранилищу ключей клиента, используемых для аутентификации.

    Используется в случае:

    • ssl is not None.

    Тип параметра: текстовое значение.

    По умолчанию: не имеет значения по умолчанию.

  • ssl_keystore_pwd

    В значении параметра задается название файла с паролем для хранилища ключей.

    Используется в случае:

    • ssl is not None.

    Тип параметра: текстовое значение.

    По умолчанию: не имеет значения по умолчанию.

  • ssl_cert

    В значении параметра задается файл или путь расположения сертификата

    Используется в случае:

    • ssl is not None.

    Тип параметра: текстовое значение.

    По умолчанию: не имеет значения по умолчанию.

  • ssl_ca

    В значении параметра задается файл или путь расположения клиентского сертификата CA

    Используется в случае:

    • ssl is not None .

    Тип параметра: текстовое значение.

    По умолчанию: не имеет значения по умолчанию.

  • ssl_key

    В значении параметра указывается расположение ключа сертификата CA.

    Используется в случае:

    • ssl is not None .

    Тип параметра: текстовое значение.

    По умолчанию: не имеет значения по умолчанию.

  • ssl_key_pwd

    В значении параметра указывается пароль от приватного ключа.

    Используется в случае:

    • ssl is not None .

    Тип параметра: текстовое значение.

    По умолчанию: не имеет значения по умолчанию.

  • ssl_ciphers

    В значении параметра определяется набор шифров, разрешенных для запроса.

    Используется в случае:

    • ssl is not None .

    Тип параметра: текстовое значение.

    По умолчанию: не имеет значения по умолчанию.

  • ssl_curves

    В значении параметра указывается поддерживаемое расширение для кривых.

    Используется в случае:

    • ssl is not None .

    Тип параметра: текстовое значение.

    По умолчанию: не имеет значения по умолчанию.

  • ssl_sigalsgs

    В значении параметра указывается расширения алгоритма подписи, допустимых к использованию сервером пар подпись/алгоритм хеширования.

    Используется в случае:

    • ssl is not None .

    Тип параметра: текстовое значение.

    По умолчанию: не имеет значения по умолчанию.

  • ssl_crl

    В значении параметра указывается путь к CRL для проверки действительности сертификата брокера.

    Используется в случае:

    • ssl is not None .

    Тип параметра: текстовое значение.

    По умолчанию: не имеет значения по умолчанию.