Cheshire Cat#

Cheshire Cat - открытый фреймворк, который позволяет разрабатывать интеллектуальных агентов поверх множества больших языковых моделей (LLM). Можно разработать собственную архитектуру искусственного интеллекта для помощи в широком спектре задач.

Cheshire Cat и Vector DB#

Cheshire Cat использует Vector DB в качестве векторной памяти для загрузки и извлечения документов.

# Decide host and port for your Cat. Default will be localhost:1865
CORE_HOST=localhost
CORE_PORT=1865

# Qdrant server
# QDRANT_HOST=localhost
# QDRANT_PORT=6333

Cheshire Cat активно использует следующие функции Vector DB:

  • Алиасы коллекций, чтобы управлять переходом от одного эмбеддера к другому.

  • Квантование для достижения хорошего баланса между скоростью, использованием памяти и качеством результатов.

  • Снимки состояния, чтобы ничего не упустить.

Пайплайн RAG

Подключение#

Требования#

Для запуска Cheshire Cat должны быть уже установлены Docker и docker-compose.

docker run --rm -it -p 1865:80 ghcr.io/cheshire-cat-ai/core:latest

  • Общайтесь с Cheshire Cat на localhost:1865/admin.

  • Также можно взаимодействовать через REST API и опробовать конечные точки на localhost:1865/docs

Ознакомьтесь с инструкциями на GitHub для более подробного быстрого старта.

Первоначальная настройка LLM#

  • Откройте портал администратора в браузере по адресу localhost:1865/admin.

  • Настройте LLM во вкладке Settings.

  • Если явно не выбрали его с помощью вкладки Settings, эмбеддер следует за LLM.

Дополнительная документация#

Для получения дополнительной информации обратитесь к документации и блогу.