vLLM-Omni#

vLLM-Omni - инструмент для развертывания и инференса разноформатных - мультимодальных (omni-modality) - моделей. Расширяет возможности vLLM поддержкой обработки текста, изображений, аудио, видео и данных о действиях. Данные о действиях - action data - данные, описывающие физические движения, жесты, траектории, данные с сенсоров и других.

Основные функции:

• Обработка мультимодальных входных данных: текст, изображение, аудио, видео, данные о действиях.

• Расширение авторегрессионной генерации vLLM на диффузионные преобразователи (Diffusion Transformers, DiT) и поддержка параллельных архитектур генерации.

• Конвейерное выполнение стадий обработки запроса с перекрытием (pipelined stage execution) для максимизации пропускной способности.

• Полное разделение этапов работы с динамическим распределением ресурсов между ними.

• Совместимость с популярными моделями: Qwen3-Omni, MiniCPM-o 4.5, Cosmos3, MiniMax H3, FLUX, GR00T-N1.7 и другими, в том числе моделями перевода текста в речь (Text-To-Speech, TTS): Qwen3-TTS, CosyVoice3.

• Поддержка различных аппаратных платформ для вычислений: CUDA, ROCm, XPU, NPU, MUSA.