HoneyHive#

HoneyHive - платформа для оценки и мониторинга приложений искусственного интеллекта на основе генеративного ИИ. Платформа HoneyHive предоставляет разработчикам инструменты корпоративного уровня для отладки сложных конвейеров извлечения данных, оценки производительности по большим тестовым наборам, мониторинга использования в реальном времени и управления подсказками в общей рабочей области. Команды используют HoneyHive для ускорения итераций, обнаружения сбоев в больших масштабах и создания выдающихся продуктов на базе искусственного интеллекта.

Интегрируя Vector DB с HoneyHive, можно:

Отслеживать операции векторной базы данных;
Мониторить задержку, качество встраивания и релевантность контекста;
Оценивать производительность поиска информации в конвейерах RAG;
Оптимизировать параметры, такие как chunk_size или chunk_overlap.

Предварительные требования#

Аккаунт и ключ API HoneyHive;
Python 3.8+.

Установка#

Установите необходимые пакеты:

pip install qdrant-client openai honeyhive

Пример базовой интеграции#

Следующий пример демонстрирует полный конвейер RAG с отслеживанием операций Vector DB в HoneyHive.

Инициализация клиентов и настройка#

Сначала настройте необходимых клиентов и конфигурацию для HoneyHive, OpenAI и Vector DB:

from qdrant_client import QdrantClient
from qdrant_client.http.models import PointStruct, VectorParams, Distance
import openai
import os
from honeyhive.tracer import HoneyHiveTracer
from honeyhive.tracer.custom import trace
from openai import OpenAI

# Set API Keys
openai.api_key = os.getenv("OPENAI_API_KEY")
honeyhive_api_key = os.getenv("HONEYHIVE_API_KEY")

# Initialize HoneyHive Tracer
HoneyHiveTracer.init(
    api_key=honeyhive_api_key,
    project="qdrant-rag-example",
    session_name="qdrant-integration-demo"
)

# Initialize OpenAI client
openai_client = OpenAI(api_key=openai.api_key)

Подключение#

Чтобы запустить Vector DB локально, необходимо установить Docker и выполнить следующую команду:

docker pull qdrant/qdrant
docker run -p 6333:6333 -p 6334:6334 -v "$(pwd)/qdrant_storage:/qdrant/storage" qdrant/qdrant

Затем подключитесь к локальному экземпляру Vector DB:

# Connect to local Qdrant
client = QdrantClient(url="http://localhost:6333")
print("Connected to local Qdrant instance")

Создание коллекции#

Создайте коллекцию для хранения вложений документов:

collection_name = "documents"
vector_size = 1536  # For text-embedding-3-small
vector_distance = Distance.COSINE

# Create collection if it doesn't exist
if not client.collection_exists(collection_name):
    client.create_collection(
        collection_name=collection_name,
        vectors_config=VectorParams(size=vector_size, distance=vector_distance)
    )

Определение функции вложения с трассировкой#

Создайте функцию для генерации вложений с трассировкой HoneyHive:

@trace()
def embed_text(text: str) -> list:
    """Generate embeddings for a text using OpenAI API."""
    response = openai_client.embeddings.create(
        model="text-embedding-3-small",
        input=text
    )
    return response.data[0].embedding

Вставка документов с трассировкой#

Создайте функцию для вставки документов в Vector DB с трассировкой:

@trace()
def insert_documents(docs):
    """Insert documents into Qdrant collection."""
    points = []
    for idx, doc in enumerate(docs):
        vector = embed_text(doc)
        points.append(PointStruct(
            id=idx + 1,
            vector=vector,
            payload={"text": doc}
        ))
    
    client.upsert(
        collection_name=collection_name,
        points=points
    )
    return len(points)

# Sample documents
documents = [
    "Qdrant is a vector database optimized for storing and searching high-dimensional vectors.",
    "HoneyHive provides observability for AI applications, including RAG pipelines.",
    "Retrieval-Augmented Generation (RAG) combines retrieval systems with generative models.",
    "Vector databases like Qdrant are essential for efficient similarity search in RAG systems.",
    "OpenAI embedding models convert text into high-dimensional vectors for semantic search."
]

# Insert documents
num_inserted = insert_documents(documents)

Получение документов с трассировкой#

Создайте функцию для получения соответствующих документов из Vector DB с трассировкой:

@trace()
def get_relevant_docs(query: str, top_k: int = 3) -> list:
    """Retrieve relevant documents for a query."""
    # Embed the query
    q_vector = embed_text(query)
    
    # Search in Qdrant
    search_response = client.query_points(
        collection_name=collection_name,
        query=q_vector,
        limit=top_k,
        with_payload=True
    )
    
    # Extract results
    docs = []
    for point in search_response.points:
        docs.append({
            "id": point.id,
            "text": point.payload.get("text"),
            "score": point.score
        })
    
    return docs

Генерация ответа с трассировкой#

Создайте функцию для генерации ответа с использованием OpenAI с трассировкой:

@trace()
def answer_query(query: str, relevant_docs: list) -> str:
    """Generate an answer for a query using retrieved documents."""
    if not relevant_docs:
        return "Could not retrieve relevant documents to answer the query."

    # Format context from retrieved documents
    context_parts = []
    for i, doc in enumerate(relevant_docs):
        context_parts.append(f"Document {i+1} (ID: {doc['id']}, Score: {doc['score']:.4f}):\n{doc['text']}")
    context = "\n\n".join(context_parts)

    # Create prompt
    prompt = f"""Answer the question based ONLY on the following context:

Context:
{context}

Question: {query}

Answer:"""

    # Generate answer
    completion = openai_client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[
            {"role": "system", "content": "You are a helpful assistant that answers questions based strictly on the provided context. If the answer is not in the context, say so clearly."},
            {"role": "user", "content": prompt}
        ],
        temperature=0.2
    )

    return completion.choices[0].message.content.strip()

Полностью рабочий конвейер RAG#

Создайте функцию для запуска полного конвейера RAG с трассировкой:

@trace()
def rag_pipeline(query: str) -> dict:
    """End-to-end RAG pipeline."""
    # Get relevant documents
    relevant_docs = get_relevant_docs(query)
    
    # Generate answer
    answer = answer_query(query, relevant_docs)
    
    return {
        "query": query,
        "answer": answer,
        "retrieved_documents": relevant_docs
    }

Пакетная обработка#

Для обработки больших наборов документов можно использовать пакетную обработку для повышения производительности:

@trace()
def batch_insert_documents(documents_to_insert, batch_size=10, start_id_offset=0):
    """Insert documents in batches."""
    total_inserted = 0
    
    for i in range(0, len(documents_to_insert), batch_size):
        batch_docs = documents_to_insert[i:i+batch_size]
        points = []
        
        for local_idx, doc in enumerate(batch_docs):
            relative_idx = i + local_idx
            vector = embed_text(doc)
            point_id = relative_idx + start_id_offset + 1
            points.append(PointStruct(
                id=point_id,
                vector=vector,
                payload={"text": doc}
            ))
        
        if points:
            client.upsert(
                collection_name=collection_name,
                points=points
            )
            total_inserted += len(points)
    
    return total_inserted

Тестирование конвейера RAG#

Вот как протестировать полностью работающий конвейер RAG:

# Test query
test_query = "What is Qdrant used for?"
result = rag_pipeline(test_query)

print(f"Query: {result['query']}")
print(f"Answer: {result['answer']}")
print("\nRetrieved Documents:")
for i, doc in enumerate(result['retrieved_documents']):
    print(f"Document {i+1} (ID: {doc['id']}, Score: {doc['score']:.4f}): {doc['text']}")

Просмотр трассировки в HoneyHive#

После выполнения конвейера RAG с Vector DB можно просмотреть трассы в интерфейсе пользователя HoneyHive:

Перейдите в проект на панели инструментов HoneyHive;
Нажмите на вкладку «Трассы», чтобы увидеть все следы из конвейера RAG;
Нажмите на конкретную трассу, чтобы получить подробную информацию о каждом этапе конвейера;
Проанализируйте производительность векторных операций, вложений и процессов поиска информации.

С помощью HoneyHive можно легко контролировать и оптимизировать конвейер RAG на базе Vector DB, обеспечивая наилучшие возможные результаты для пользователей.

Дополнительная документация#

Документация HoneyHive