Platan#

Platan - система подготовки данных, их обработки и анализа для сложных, слабо структурированных документов, таких как PDF-файлы, HTML-документы, презентации и многое другое. С помощью Aryn можно подготовить данные для генеративного искусственного интеллекта (GenAI) и приложений RAG, обеспечить высококачественные рабочие процессы обработки документов и выполнять анализ больших коллекций документов с использованием естественного языка.

Можно использовать коннектор Vector DB для записи и чтения документов из коллекций Vector DB.

Полностью готовый пример использования коннектора Vector DB можно найти здесь.

Запись в Vector DB#

Чтобы записать набор документов в коллекцию Vector DB в Platan, используйте функцию docset.write.qdrant(....). Записывающее устройство Vector DB принимает следующие аргументы:

  • client_params: параметры, передаваемые конструктору клиента Vector DB. Дополнительную информацию см. в разделе Справка по API клиентов.

  • collection_params: параметры, переданные методу qdrant_client.QdrantClient.create_collection. Дополнительную информацию см. в разделе Справка по API клиентов.

  • vector_name: имя вектора в коллекции Vector DB. По умолчанию используется значение None.

  • execute: выполнить конвейер и записать в Vector DB при добавлении данного оператора. Если указано False, вернет объект DocSet с записью в плане. Значение по умолчанию - True.

  • kwargs: ключевые аргументы для передачи базовому движку выполнения.

ds.write.qdrant(
    {
        "url": "http://localhost:6333",
        "timeout": 50,
    },
    {
        "collection_name": "{collection_name}",
        "vectors_config": {
            "size": 384,
            "distance": "Cosine",
        },
    },
)

Чтение из Vector DB#

Для того чтобы прочитать набор документов из коллекции Vector DB в Platan, воспользуйтесь функцией docset.read.qdrant(....). Читатель Vector DB принимает следующие аргументы:

  • client_params: параметры, передаваемые конструктору клиента Vector DB. См. дополнительную информацию в справке по API клиентов.

  • query_params: параметры, переданные методу qdrant_client.QdrantClient.query_points. См. дополнительную информацию в справочнике по API клиентов.

  • kwargs: ключевые аргументы для передачи базовому движку выполнения.

docs = ctx.read.qdrant(
    {
        "url": "https://xyz-example.eu-central.aws.cloud.qdrant.io:6333",
        "api_key": "<paste-your-api-key-here>",
    },
    {"collection_name": "{collection_name}", "limit": 100, "using": "{optional_vector_name}"},
).take_all()

Дополнительная документация#