Параметры конфигурации sink-коннектора#
Название |
Описание |
Тип |
Доступные значения |
Значение по умолчанию |
|---|---|---|---|---|
connect.s3.aws.auth.mode |
Определяет режим аутентификации AWS для подключения к S3 |
string |
«Credentials», «Default» |
«Default» |
connect.s3.aws.access.key |
Ключ доступа AWS, используемый для аутентификации |
string |
(Пусто) |
(Пусто) |
connect.s3.aws.secret.key |
Секретный ключ AWS, используемый для аутентификации |
string |
(Пусто) |
(Пусто) |
connect.s3.aws.region |
Регион AWS, в котором расположен бакет S3 |
string |
(Пусто) |
(Пусто) |
connect.s3.pool.max.connections |
Указывает максимальное количество соединений, разрешенных в пуле HTTP-соединений клиента AWS при взаимодействии с S3 |
int |
-1 (не определено) |
50 |
connect.s3.custom.endpoint |
Позволяет указать пользовательский URL эндпоинта S3 при необходимости |
string |
(Пусто) |
(Пусто) |
connect.s3.vhost.bucket |
Включает использование виртуальных хостов бакетов для подключений к S3. Всегда устанавливается в true при использовании пользовательских эндпоинтов |
boolean |
true, false |
false |
connect.s3.error.policy |
Определяет политику обработки ошибок при возникновении ошибок во время передачи данных в S3 или из него |
string |
«NOOP», «THROW», «RETRY» |
«THROW» |
connect.s3.max.retries |
Устанавливает максимальное количество повторных попыток, которые будет предпринимать коннектор до сообщения об ошибке в Connect Framework |
int |
20 |
20 |
connect.s3.retry.interval |
Указывает интервал (в миллисекундах) между попытками повтора со стороны коннектора |
int |
60000 |
60000 |
connect.s3.http.max.retries |
Устанавливает максимальное количество повторов для внутреннего HTTP-клиента при взаимодействии с S3 |
long |
5 |
5 |
connect.s3.http.retry.interval |
Указывает интервал повтора (в миллисекундах) для внутреннего HTTP-клиента. Используется стратегия экспоненциальной задержки |
long |
50 |
50 |
connect.s3.local.tmp.directory |
Включает использование локальной папки в качестве области подготовки для операций передачи данных |
string |
(Пусто) |
(Пусто) |
connect.s3.kcql |
Конфигурация, похожая на SQL, определяющая поведение коннектора |
string |
(Пусто) |
(Пусто) |
connect.s3.compression.codec |
Указывает кодек сжатия Parquet, используемый при записи данных в S3 |
string |
«UNCOMPRESSED», «SNAPPY», «GZIP», «LZ0», «LZ4», «BROTLI», «BZIP2», «ZSTD», «DEFLATE», «XZ» |
«UNCOMPRESSED» |
connect.s3.compression.level |
Устанавливает уровень сжатия при включенном сжатии для передачи данных в S3 |
int |
1–9 |
(Пусто) |
connect.s3.seek.max.files |
Указывает максимальный порог количества файлов, используемых коннектором для обеспечения обработки данных с семантикой однократной обработки |
int |
5 |
5 |
connect.s3.indexes.name |
Настраивает префикс индексов для данного коннектора |
string |
«.indexes» |
«.indexes» |
connect.s3.exactly.once.enable |
При установке в „false“ отключает семантику точной однократной обработки, переключаясь на собственную систему управления смещениями Corax Connect с гарантией однократной обработки |
boolean |
true, false |
true |
connect.s3.schema.change.detector |
Определяет, как будет происходить переключение файла при получении записи со схемой, отличающейся от накопленных. Эта настройка определяет обнаружение изменения схемы: по умолчанию (сравнение объектов), по версии (сравнение поля версии) или по совместимости (проверка совместимости Avro) |
string |
default, version, compatibility |
default |
connect.s3.skip.null.values |
Пропускает записи с null-значениями, также известные как томбстоны (tombstones) |
boolean |
true, false |
false |
connect.s3.latest.schema.optimization.enabled |
При установке в „true“ снижает количество ненужных сбросов данных при записи в форматах Avro или Parquet. В частности, используется совместимость схем, чтобы избежать сброса данных при получении сообщений со старыми, но обратно совместимыми схемами |
boolean |
true, false |
false |