SmolAgents#

SmolAgents от HuggingFace - библиотека на Python для создания агентов искусственного интеллекта. Эти агенты пишут код на Python для вызова инструментов и координации других агентов.

Библиотека использует CodeAgent, движок больших языковых моделей, который записывает действия в виде кода. SmolAgents утверждает, что этот подход работает лучше, чем нынешняя отраслевая практика, когда большие языковые модели выводят словарь используемых ими инструментов: использует на 30% меньше шагов (и соответственно на 30% меньше вызовов языковой модели), при этом достигая более высокой производительности на сложных эталонных тестах.

Использование совместно с Vector DB#

В данном руководстве представлено, как можно объединить SmolAgents с поиском по индексам Vector DB, построив агента рекомендаций фильмов.

Установка#

pip install smolagents qdrant-client fastembed

Настройка инструмента Vector DB#

Построим инструмент SmolAgents, способный запрашивать коллекцию Vector DB. Этот инструмент будет локально векторизовать запросы с помощью библиотеки FastEmbed.

Сначала заполните коллекцию Vector DB информацией о 1000 фильмах из IMDb, которую можно будет использовать для поиска.

from fastembed import TextEmbedding
from qdrant_client import QdrantClient
from smolagents import Tool


class QdrantQueryTool(Tool):
    name = "qdrant_query"
    description = "Uses semantic search to retrieve movies from a Qdrant collection."
    inputs = {
        "query": {
            "type": "string",
            "description": "The query to perform. This should be semantically close to your target documents.",
        }
    }
    output_type = "string"

    def __init__(self, **kwargs):
        super().__init__(**kwargs)
        self.collection_name = "smolagents"
        self.client = QdrantClient()

        if not self.client.collection_exists(self.collection_name):
            self.client.recover_snapshot(
                collection_name=self.collection_name,
                location="https://snapshots.qdrant.io/imdb-1000-jina.snapshot",
            )
        self.embedder = TextEmbedding(model_name="jinaai/jina-embeddings-v2-base-en")

    def forward(self, query: str) -> str:
        points = self.client.query_points(
            self.collection_name, query=next(self.embedder.query_embed(query)), limit=5
        ).points
        docs = "Retrieved documents:\n" + "".join(
            [
                f"== Document {str(i)} ==\n"
                + f"MOVIE TITLE: {point.payload['movie_name']}\n"
                + f"MOVIE SUMMARY: {point.payload['description']}\n"
                for i, point in enumerate(points)
            ]
        )

        return docs

Определите агента#

Теперь можно настроить CodeAgent для использования QdrantQueryTool.

from smolagents import CodeAgent, HfApiModel
import os

# HuggingFace Access Token
# https://huggingface.co/docs/hub/en/security-tokens
os.environ["HF_TOKEN"] = "----------"

agent = CodeAgent(
    tools=[QdrantQueryTool()], model=HfApiModel(), max_iterations=4, verbose=True
)

Можно запустить агента с запросом пользователя.

agent_output = agent.run("Movie about people taking a strong action for justice")
print(agent_output)

Ожидаемые результаты аналогичны следующим:

[...truncated]

Out - Final answer: Jai Bhim
[Step 1: Duration 0.25 seconds| Input tokens: 4,497 | Output tokens: 134]
Jai Bhim

Дополнительная документация#