Dagster#
Dagster - фреймворк для оркестрации данных на Python, разработанный специально для инженеров по работе с данными, включающий интегрированную родословную, наблюдаемость, декларативную модель программирования и первоклассные возможности тестирования.
Библиотека dagster-qdrant позволяет интегрировать векторную базу данных Vector DB с Dagster, облегчая создание конвейеров обработки данных, управляемых искусственным интеллектом. Можно выполнять поиск по векторам и управлять данными непосредственно внутри Dagster.
Установка#
pip install dagster dagster-qdrant
Пример#
from dagster_qdrant import QdrantConfig, QdrantResource
import dagster as dg
@dg.asset
def my_table(qdrant_resource: QdrantResource):
with qdrant_resource.get_client() as qdrant:
qdrant.add(
collection_name="test_collection",
documents=[
"This is a document about oranges",
"This is a document about pineapples",
"This is a document about strawberries",
"This is a document about cucumbers",
],
)
results = qdrant.query(
collection_name="test_collection", query_text="hawaii", limit=3
)
defs = dg.Definitions(
assets=[my_table],
resources={
"qdrant_resource": QdrantResource(
config=QdrantConfig(
host="xyz-example.eu-central.aws.cloud.qdrant.io",
api_key="<your-api-key>",
)
)
},
)