Haystack#

Haystack представляет собой универсальную платформу для обработки естественного языка (NLP), предлагающую модульный подход к созданию передовых систем искусственного интеллекта с генерацией ответов, вопросов и ответов (QA) и семантического поиска по базам знаний. Важным элементом современных систем NLP является эффективная база данных для хранения и извлечения больших объемов текстовой информации. Векторные базы данных прекрасно справляются с этой задачей, так как они хранят векторные представления текстов и реализуют эффективные методы быстрого поиска. Таким образом, стоит объявить об успешной интеграции с Haystack - QdrantDocumentStore. Этот документное хранилище уникально тем, что оно поддерживается внешней командой Vector DB.

Новое хранилище документов поставляется отдельным пакетом и может обновляться независимо от Haystack:

pip install qdrant-haystack

QdrantDocumentStore поддерживает все свойства конфигурации, доступные в клиенте Python Vector DB. Если хотите настроить конфигурацию коллекции, используемой под капотом, можно предоставить эти настройки при создании экземпляра QdrantDocumentStore. Например, если хотите включить скалярную квантизацию, это можно сделать следующим образом:

from qdrant_haystack.document_stores import QdrantDocumentStore
from qdrant_client import models

document_store = QdrantDocumentStore(
    ":memory:",
    index="Document",
    embedding_dim=512,
    recreate_index=True,
    quantization_config=models.ScalarQuantization(
        scalar=models.ScalarQuantizationConfig(
            type=models.ScalarType.INT8,
            quantile=0.99,
            always_ram=True,
        ),
    ),
)

Haystack#

Дополнительная документация#