Параметры для команды PROPERTIES sink-коннектора#
Название |
Описание |
Тип |
Доступные значения |
Значение по умолчанию |
|---|---|---|---|---|
padding.type |
Указывает тип дополнения, которое будет применено |
LeftPad, RightPad, NoOp |
LeftPad, RightPad, NoOp |
LeftPad |
padding.char |
Определяет символ, используемый для дополнения |
Char |
„0“ |
„0“ |
padding.length.partition |
Устанавливает длину дополнения для партиции |
Int |
0 |
0 |
padding.length.offset |
Устанавливает длину дополнения для смещения |
Int |
12 |
12 |
partition.include.keys |
Указывает, включены ли ключи партиций |
Boolean |
false |
false |
store.envelope |
Указывает, сохраняется ли все сообщение Corax |
Boolean |
— |
— |
store.envelope.fields.key |
Указывает, сохраняется ли ключ обертки (envelope) |
Boolean |
— |
— |
store.envelope.fields.headers |
Указывает, сохраняются ли заголовки обертки |
Boolean |
— |
— |
store.envelope.fields.value |
Указывает, сохраняется ли значение обертки |
Boolean |
— |
— |
store.envelope.fields.metadata |
Указывает, сохраняются ли метаданные обертки |
Boolean |
— |
— |
flush.size |
Указывает размер (в байтах) для выполнения сброса |
Long |
500000000 (500MB) |
500000000 |
flush.count |
Указывает количество записей для выполнения сброса |
Int |
50000 |
50000 |
flush.interval |
Указывает интервал (в секундах) для выполнения сброса |
Long |
3600 (1ч) |
3600 |
key.suffix |
При указании добавляет заданное значение к результирующему ключу объекта перед добавлением «расширения» (avro, json и так далее) |
String |
(пусто) |
(пусто) |
Sink-коннектор оптимизирует производительность за счет дополнения (padding) выходных объектов. Это полезно при использовании S3 Source connector для восстановления данных. Такое дополнение имен объектов гарантирует их лексикографический порядок, что позволяет S3 Source connector не выполнять чтение, сортировку и обработку всех объектов, повышая таким образом эффективность.