Параметры конфигурации source-коннектора#
Название |
Описание |
Тип |
Доступные значения |
Значение по умолчанию |
|---|---|---|---|---|
connect.s3.aws.auth.mode |
Определяет режим аутентификации AWS для подключения к S3 |
string |
«Credentials», «Default» |
«Default» |
connect.s3.aws.access.key |
Ключ доступа для учетных данных AWS S3 |
string |
— |
— |
connect.s3.aws.secret.key |
Секретный ключ для учетных данных AWS S3 |
string |
— |
— |
connect.s3.aws.region |
Регион AWS для бакета S3 |
string |
— |
— |
connect.s3.pool.max.connections |
Максимальное количество соединений в пуле соединений |
int |
-1 (не определено) |
50 |
connect.s3.custom.endpoint |
URL пользовательского эндпоинта для S3 (если применимо) |
string |
— |
— |
connect.s3.kcql |
Конфигурация KCQL (Kafka Connect Query Language) для управления поведением коннектора |
string |
конфигурация kcql |
— |
connect.s3.vhost.bucket |
Включает использование виртуальных хостов бакетов для S3 |
boolean |
true, false |
false |
connect.s3.source.extension.excludes |
Список расширений объектов через запятую, исключаемых из поиска исходных объектов |
string |
[Фильтрация по расширениям объектов]({{< relref «#object-extension-filtering» >}}) |
— |
connect.s3.source.extension.includes |
Список расширений объектов через запятую, включаемых в поиск исходных объектов |
string |
[Фильтрация по расширениям объектов]({{< relref «#object-extension-filtering» >}}) |
— |
connect.s3.source.partition.extractor.type |
Тип извлечения партиций (иерархический или с помощью регулярного выражения) |
string |
hierarchical, regex |
— |
connect.s3.source.partition.extractor.regex |
Шаблон регулярного выражения для извлечения партиций (если применимо) |
string |
— |
— |
connect.s3.ordering.type |
Тип упорядочивания ключей объектов S3 для обеспечения порядка обработки |
string |
AlphaNumeric, LastModified |
AlphaNumeric |
connect.s3.source.partition.search.continuous |
Если установлено в true, коннектор будет непрерывно искать новые партиции |
boolean |
true, false |
true |
connect.s3.source.partition.search.excludes |
Список через запятую путей, исключаемых из поиска партиций |
string |
«.indexes» |
— |
connect.s3.source.partition.search.interval |
Интервал в миллисекундах между поисками новых партиций |
long |
300000 |
300000 |
connect.s3.source.partition.search.recurse.levels |
Указывает, насколько глубокую рекурсию использовать для поиска новых партиций |
int |
0 |
0 |
connect.s3.source.empty.results.backoff.initial.delay |
Начальная задержка перед повторной попыткой при отсутствии результатов |
long |
1000 миллисекунд |
1000 |
connect.s3.source.empty.results.backoff.max.delay |
Максимальная задержка перед повторной попыткой при отсутствии результатов |
long |
10000 миллисекунд |
10000 |
connect.s3.source.empty.results.backoff.multiplier |
Множитель, применяемый к задержке при повторной попытке, если результаты не найдены |
double |
2.0 (множитель) |
2.0 |
connect.s3.source.write.watermark.header |
Записывать сообщение с заголовками Corax, включающими информацию об источнике и номере строки файла |
boolean |
true, false |
false |