Confluent#

Созданная первоначальными разработчиками Apache Kafka®, платформа Confluent Cloud представляет собой облачную нативную и полную платформу потоковой передачи данных, доступную на AWS, Azure и Google Cloud. Платформа включает полностью управляемый эластично масштабируемый движок Kafka, более 120 коннекторов, бессерверный Apache Flink®, средства контроля безопасности корпоративного уровня и мощный набор средств управления.

С коннектором приемником Vector DB-Kafka Vector DB является частью программы технологических партнеров Connect with Confluent. Он позволяет напрямую передавать полностью управляемые потоки данных организациям из Confluent Cloud, облегчая организациям передачу любых данных в Vector DB с помощью полностью управляемого сервиса Apache Kafka.

Использование#

Предварительные условия#

  • Учетная запись Confluent Cloud. Можно начать с бесплатного пробного периода с кредитом на первые 30 дней.

  • Экземпляр Vector DB для подключения. Бесплатный облачный экземпляр можно получить по адресу cloud.qdrant.io.

Установка#

  1. Загрузите последний файл ZIP-коннектора с сайта Confluent Hub.

  2. Настройте среду и кластер в Confluent и создайте тему для отправки сообщений.

  3. Перейдите к разделу Connectors кластера Confluent и нажмите кнопку Add Plugin. Загрузите ZIP-файл со следующей информацией.

    Установка коннектора

  4. После установки перейдите к коннектору и установите следующие значения конфигурации.

    Конфигурация коннектора

    Замените заполнители значениями учетных данных.

  5. Добавьте хост экземпляра Vector DB в список разрешенных сетевых конечных точек.

    Конечная точка коннектора

  6. Запустите коннектор.

Создание сообщений#

Теперь можно создавать сообщения для настроенной темы, и они будут записаны в указанный экземпляр Vector DB.

Сообщение коннектора

Форматы сообщений#

Коннектор поддерживает сообщения в различных форматах.

Безымянный/вектор по умолчанию#

Справка: Создание коллекции с вектором по умолчанию.

{
    "collection_name": "{collection_name}",
    "id": 1,
    "vector": [
        0.1,
        0.2,
        0.3,
        0.4,
        0.5,
        0.6,
        0.7,
        0.8
    ],
    "payload": {
        "name": "kafka",
        "description": "Kafka is a distributed streaming platform",
        "url": "https://kafka.apache.org/"
    }
}

Именованные несколько векторов#

Справка: Создание коллекции с несколькими векторами.

{
    "collection_name": "{collection_name}",
    "id": 1,
    "vector": {
        "some-dense": [
            0.1,
            0.2,
            0.3,
            0.4,
            0.5,
            0.6,
            0.7,
            0.8
        ],
        "some-other-dense": [
            0.1,
            0.2,
            0.3,
            0.4,
            0.5,
            0.6,
            0.7,
            0.8
        ]
    },
    "payload": {
        "name": "kafka",
        "description": "Kafka is a distributed streaming platform",
        "url": "https://kafka.apache.org/"
    }
}

Разреженные векторы#

Справка: Создание коллекции с разреженными векторами.

{
    "collection_name": "{collection_name}",
    "id": 1,
    "vector": {
        "some-sparse": {
            "indices": [
                0,
                1,
                2,
                3,
                4,
                5,
                6,
                7,
                8,
                9
            ],
            "values": [
                0.1,
                0.2,
                0.3,
                0.4,
                0.5,
                0.6,
                0.7,
                0.8,
                0.9,
                1.0
            ]
        }
    },
    "payload": {
        "name": "kafka",
        "description": "Kafka is a distributed streaming platform",
        "url": "https://kafka.apache.org/"
    }
}

Мультивекторы#

Справка:

{
    "collection_name": "{collection_name}",
    "id": 1,
    "vector": {
        "some-multi": [
            [
                0.1,
                0.2,
                0.3,
                0.4,
                0.5,
                0.6,
                0.7,
                0.8,
                0.9,
                1.0
            ],
            [
                1.0,
                0.9,
                0.8,
                0.5,
                0.4,
                0.8,
                0.6,
                0.4,
                0.2,
                0.1
            ]
        ]
    },
    "payload": {
        "name": "kafka",
        "description": "Kafka is a distributed streaming platform",
        "url": "https://kafka.apache.org/"
    }
}

Комбинация именованных плотных и разреженных векторов#

Справка:

{
    "collection_name": "{collection_name}",
    "id": "a10435b5-2a58-427a-a3a0-a5d845b147b7",
    "vector": {
        "some-other-dense": [
            0.1,
            0.2,
            0.3,
            0.4,
            0.5,
            0.6,
            0.7,
            0.8
        ],
        "some-sparse": {
            "indices": [
                0,
                1,
                2,
                3,
                4,
                5,
                6,
                7,
                8,
                9
            ],
            "values": [
                0.1,
                0.2,
                0.3,
                0.4,
                0.5,
                0.6,
                0.7,
                0.8,
                0.9,
                1.0
            ]
        }
    },
    "payload": {
        "name": "kafka",
        "description": "Kafka is a distributed streaming platform",
        "url": "https://kafka.apache.org/"
    }
}

Дополнительная документация#