Redpanda Connect#
Redpanda Connect - декларативная потоковая служба для обработки данных, независимая от их формата, предназначенная для эффективного выполнения этапов бессерверной обработки. Она обеспечивает устойчивость транзакций с обратным давлением, гарантируя доставку сообщений хотя бы один раз при подключении к источникам «хотя бы один раз» с приемниками, без необходимости сохранения сообщений во время передачи.
Конвейеры Connect настраиваются с помощью файла YAML, который организует компоненты иерархически. Каждый раздел представляет собой другой тип компонента, такой как входы, процессоры и выходы, и они могут иметь вложенные дочерние компоненты и динамические значения.
Компонент Vector DB Output позволяет передавать векторные данные в коллекции Vector DB в конвейерах RedPanda.
Пример#
Пример конфигурации вывода после настройки входных данных и процессоров будет выглядеть так:
input:
# https://docs.redpanda.com/redpanda-connect/components/inputs/about/
pipeline:
processors:
# https://docs.redpanda.com/redpanda-connect/components/processors/about/
output:
label: "qdrant-output"
qdrant:
max_in_flight: 64
batching:
count: 8
grpc_host: xyz-example.eu-central.aws.cloud.qdrant.io:6334
api_token: "<provide-your-own-key>"
tls:
enabled: true
# skip_cert_verify: false
# enable_renegotiation: false
# root_cas: ""
# root_cas_file: ""
# client_certs: []
collection_name: "<collection_name>"
id: root = uuid_v4()
vector_mapping: 'root = {"some_dense": this.vector, "some_sparse": {"indices": [23,325,532],"values": [0.352,0.532,0.532]}}'
payload_mapping: 'root = {"field": this.value, "field_2": 987}'