CocoIndex#

CocoIndex - высокопроизводительный фреймворк ETL для преобразования данных для искусственного интеллекта с возможностью реального времени инкрементальной обработки.

Vector DB доступен как встроенная нативная векторная база данных для хранения и извлечения вложений.

Установка CocoIndex:

pip install -U cocoindex

Установите Postgres с помощью Docker Compose:

docker compose -f <(curl -L https://raw.githubusercontent.com/cocoindex-io/cocoindex/refs/heads/main/dev/postgres.yaml) up -d

CocoIndex является фреймворком ETL с сохранением состояния и обрабатывает только измененные данные. Он использует Postgres в качестве хранилища метаданных для отслеживания состояния данных.

import cocoindex

doc_embeddings.export(
    "doc_embeddings",
    cocoindex.storages.Qdrant(
        collection_name="cocoindex",
        grpc_url="https://xyz-example.cloud-region.cloud-provider.cloud.qdrant.io:6334/",
        api_key="<your-api-key-here>",
    ),
    primary_key_fields=["id_field"],
    setup_by_user=True,
)

Спецификация принимает следующие поля:

  • collection_name (тип: str, обязательно): Имя коллекции, в которую необходимо экспортировать данные.

  • grpc_url (тип: str, необязательно): URL-адрес gRPC экземпляра Vector DB. По умолчанию используется http://localhost:6334/.

  • api_key (тип: str, необязательно). Ключ API для аутентификации запросов.

Перед экспортом необходимо создать коллекцию с именем вектора, соответствующим имени векторного поля в CocoIndex, и установить setup_by_user=True во время экспорта.

Дополнительная документация#