Apache NiFi#
NiFi - платформа для реального времени обработки данных, которая может передавать данные и управлять их передачей между многочисленными источниками и целевыми системами. Она поддерживает множество протоколов и предлагает веб-интерфейс пользователя для разработки и мониторинга потоков данных.
NiFi поддерживает загрузку и запрос данных из Vector DB посредством модулей процессоров.
Конфигурация#
Можно настроить процессоры NiFi Vector DB с учетными данными Vector DB, конфигурациями запросов/загрузки. Процессоры предлагают два встроенных провайдера встраивания для преобразования данных в векторные вложения: HuggingFace, OpenAI.
Загрузка в Vector DB#
Процессор Put Qdrant позволяет загружать данные FlowFile NiFi в коллекцию Vector DB.
Запрос к Vector DB#
Процессор Query Qdrant выполняет поиск по подобию по коллекции Vector DB и возвращает результат в виде файла FlowFile.