Airbyte#
Airbyte - открытая платформа для интеграции данных, которая помогает реплицировать данные между различными системами. Она имеет растущий список коннекторов, которые можно использовать для получения данных из нескольких источников. Построение конвейеров обработки данных также важно для управления данными в Vector DB, и Airbyte является отличным инструментом для этой цели.
Airbyte может позаботиться о получении данных из выбранного источника, а Vector DB поможет построить поисковую систему поверх этих данных. Существует три поддерживаемых режима того, как данные могут быть загружены в Vector DB:
Полная синхронизация обновления
Постепенная - режим добавления
Постепенная - Добавление + удаление дубликатов
Можно узнать больше об этих режимах в документации по Airbyte.
Предварительные условия#
Прежде чем начать, убедитесь, что есть следующее:
Экземпляр Airbyte, либо с открытым исходным кодом, самостоятельно управляемый или облачный.
Запущенный экземпляр Vector DB. Он должен быть доступен по URL-адресу с машины, где запущен Airbyte. Можно следовать руководству по установке, чтобы настроить Vector DB.
Настройка Vector DB в качестве пункта назначения#
Как только будет запущена работающая копия Airbyte, можно установить Vector DB в качестве пункта назначения непосредственно в интерфейсе пользователя. Пункт назначения Vector DB от Airbyte связан с одной коллекцией в Vector DB.
Обработка текстов#
Airbyte имеет встроенные механизмы преобразования текстов во вложения (embeddings). Можно выбрать способ разбиения полей на части перед вычислением вложений, но также указать поля, которые должны использоваться для создания полезной нагрузки точки.
Вложения#
Можно выбрать модель, которая будет использована для расчета вложений. В настоящее время Airbyte поддерживает несколько моделей, включая OpenAI и Cohere.
Также возможно использование предварительно рассчитанных вложений из источника данных. В этом случае можно передать имя поля, содержащее вложения, и их размерность.
Детали подключения к Vector DB#
Можно настроить целевую инстанцию Vector DB и коллекцию. В случае использования встроенного механизма аутентификации здесь можно передать токен.
После подтверждения создания пункта назначения Airbyte проверит доступность указанного кластера Vector DB и возможность его использования в качестве пункта назначения.
Настройка соединения#
Airbyte объединяет источники и пункты назначения в единую сущность под названием соединение. Как только пункт назначения настроен и имеется источник, можно создать соединение между ними. Неважно, какой источник используется, если он поддерживается Airbyte. Процесс довольно прост, но зависит от используемого источника.
