OpenLIT#

OpenLIT - инструмент для мониторинга приложений на основе больших языковых моделей (LLM), совместимый с OpenTelemetry, который включает автоматическую телеметрию OpenTelemetry для наблюдения за состоянием Vector DB и предоставляет аналитику для повышения производительности базы данных и приложения.

Использование#

Шаг 1: установите OpenLIT#

Откройте командную строку или терминал и выполните команду:

pip install openlit

Шаг 2: инициализируйте OpenLIT в приложении#

Интеграция OpenLIT в приложения на базе LLM проста и требует всего лишь двух строчек кода:

import openlit

openlit.init()

По умолчанию OpenLIT направляет трассировку в консоль. Чтобы отправить данные телеметрии на конечную точку HTTP OTLP, настройте параметр otlp_endpoint или переменную окружения OTEL_EXPORTER_OTLP_ENDPOINT.

Для бэкендов OpenTelemetry, требующих аутентификации, используйте параметр otlp_headers или переменную среды OTEL_EXPORTER_OTLP_HEADERS, указав необходимые значения.

Дополнительная документация#

Теперь, когда данные наблюдаемости LLM собираются инструментом OpenLIT, следующим шагом будет визуализация и анализ этих данных для получения информации о производительности, поведении Vector DB и выявления областей для улучшения.

Чтобы начать изучение данных о производительности приложения на основе LLM в интерфейсе OpenLIT, ознакомьтесь с Руководством по быстрому старту.

Если необходимо интегрировать и отправлять генерируемые метрики и трассы в существующие инструменты для сбора данных, такие как Prometheus + Jaeger, Grafana и другие, обратитесь к разделу Официальной документации по подключениям OpenLIT для подробных инструкций.