Миграция#

Перемещение данных между векторными базами данных, особенно по регионам, платформам или типам развертывания, может стать проблемой. Именно здесь вступает в игру инструмент миграции Platform V Vector DB (далее - Vector DB). Он поддерживает широкий спектр потребностей в миграции, включая передачу данных между экземплярами Vector DB и миграцию из других поставщиков векторных баз данных в Vector DB.

Можно запустить инструмент миграции на любом компьютере, где есть доступ к исходной и целевой базам данных Vector DB. Прямая связь между обеими базами данных не требуется. Для оптимальной производительности запускайте инструмент на машине с быстрым сетевым подключением и минимальной задержкой до обеих баз данных.

В этом руководстве представлено как использовать инструмент миграции, и рассмотрим практический пример перехода от других векторных баз данных к Vector DB.

Назначение#

Vector DB поддерживает резервное копирование на основе снимков, низкоуровневые операции с диском, предназначенные для восстановления одного кластера или локального резервного копирования. Эти снимки:

• Требуют согласованности снимка по узлам.

• Могут быть сложны при переносе между машинами или облачными зонами.

С другой стороны, инструмент миграции Vector DB:

• Передает данные живыми пакетами.

• Может возобновлять прерванные миграции.

• Работает даже тогда, когда происходит вставка данных.

• Поддерживает повторную настройку коллекций (например, изменение репликации и квантования).

• Поддерживает миграцию из других векторных БД (Pinecone, Chroma, Weaviate и др.).

Пример: миграция из Pinecone в Vector DB#

Информация, которую необходимо получить из Pinecone:

• Ключ API Pinecone;

• Имя индекса;

• Хост URL индекса.

Имея эту информацию можно перенести векторную базу данных из Pinecone в Vector DB следующей командой:

docker run --net=host --rm -it registry.cloud.qdrant.io/library/qdrant-migration pinecone \
    --pinecone.index-host 'https://sample-movies-efgjrye.svc.aped-4627-b74a.pinecone.io' \
    --pinecone.index-name 'sample-movies' \
    --pinecone.api-key 'pcsk_7Dh5MW_…' \
    --qdrant.url 'https://5f1a5c6c-7d47-45c3-8d47-d7389b1fad66.eu-west-1-0.aws.cloud.qdrant.io:6334' \
    --qdrant.api-key 'eyJhbGciOiJIUzI1NiIsInR5c…' \
    --qdrant.collection 'sample-movies' \
    --migration.batch-size 64

Когда миграция будет завершена можно увидеть новую коллекцию в Vector DB со всеми векторами.