GPU Operator#
GPU Operator – инструмент, обеспечивающий декларативное развертывание и управление полным стеком компонентов GPU. В его состав входят Container Toolkit, Device Plugin, GPU Feature Discovery, MIG Manager, DCGM Exporter и другие компоненты, необходимые для работы с графическими ускорителями.
Основные задачи и возможности
Управление жизненным циклом: автоматическая подготовка GPU-узлов к рабочей нагрузке и обеспечение полной работоспособности стека (
end-to-end lifecycle).Развертывание компонентов: установка и настройка Device Plugin (экспорт ресурса
nvidia.com/gpu), GPU Feature Discovery (назначение меток узлам), MIG Manager и DCGM Exporter (сбор метрик).Синхронизация версий: централизованное управление обновлениями и обеспечение совместимости версий всех компонентов GPU-стека через конфигурационные параметры (
values/CR).
Примечание
GPU Operator устанавливается по умолчанию в составе «AI-system».
Конфигурация values#
Параметры GPU Operator доступны для переопределения через редактирование нужных значений в spec.values. Общее описание конфигурации values для инструментов приведено в разделе «Конфигурации инструментов дополнительных компонентов».
sandboxWorkloads – конфигурация для изолированных рабочих нагрузок
driver – конфигурация установки и управления драйвером NVIDIA
devicePlugin – настройки плагина устройства Kubernetes для GPU
dcgmExporter – конфигурация экспортера метрик DCGM для Prometheus
gfd – настройки GPU Feature Discovery для добавления меток на узлы
gds – параметры GPUDirect Storage для ускоренного доступа к данным
gdrcopy – настройки GDRCopy для быстрого копирования между GPU и памятью
sandboxDevicePlugin – плагин устройства для sandbox-окружений
ccManager – управление функциями конфиденциальных вычислений
platform – настройки платформы#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение использования платформы OpenShift |
|
nfd – параметры интеграции с Node Feature Discovery (NFD)#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение NFD для обнаружения аппаратных характеристик узлов |
|
|
Включение создания правил |
|
psa – настройки Pod Security Admission (PSA)#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение PSA для соответствия политикам безопасности |
|
cdi – включение поддержки Container Device Interface (CDI)#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Активация CDI для стандартизированного доступа к устройствам в контейнерах |
|
|
Включение NRI-плагина для интеграции с |
|
sandboxWorkloads – конфигурация для изолированных рабочих нагрузок#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Разрешение запуска рабочих нагрузок в изолированных sandbox-окружениях |
|
|
Тип рабочей нагрузки. |
|
|
Режим sandbox. |
|
hostPaths – пути к файловой системе хоста#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Путь к корневой файловой системе хоста для компонентов, требующих chroot-доступа (MIG Manager, Toolkit) |
|
|
Корневой каталог установки драйвера, где размещаются библиотеки, конфигурационные и исполняемые файлы |
|
daemonsets – общие настройки DaemonSet для управляемых pod#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Метки, добавляемые ко всем создаваемым ресурсам |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Имя |
|
|
|
|
|
Стратегия обновления ресурса. |
|
|
Максимальное количество узлов, на которых одновременно может происходить обновление pod (абсолютное число или процент) |
|
validator – параметры контейнера валидации установки GPU#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Полный путь к репозиторию образа контейнера валидации с поддержкой шаблонов Helm |
|
|
Параметры контейнерного образа |
|
|
Политика загрузки образа: |
|
|
Список |
|
|
Переменные окружения контейнера |
|
|
Аргументы, переопределяющие стандартные аргументы запуска контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Использование сетевого пространства хоста для контейнера валидации |
|
|
Переменные окружения контейнера |
|
operator – настройки контроллера GPU#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Репозиторий образа оператора GPU с поддержкой шаблонов Helm для гибкой настройки |
|
|
Параметры контейнерного образа |
|
|
Политика загрузки образа оператора для контроля обновлений и кеширования |
|
|
Список |
|
|
Имя |
|
|
Имя |
|
|
Использование Driver Toolkit для сборки драйверов в среде OpenShift |
|
|
Включение удаления |
|
|
Автоматическое обновление CRD при обновлении чарта, требует флага |
|
|
|
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Настройки правила привязки ( |
|
|
Формат временных меток в логах оператора. |
|
|
Уровень детализации логирования. |
|
|
Режим разработки для оператора, меняющий формат логов и уровень вывода по умолчанию |
|
|
Ограничение ресурсов CPU для контейнера |
|
|
Ограничение ресурсов памяти для контейнера |
|
|
Запрашиваемые ресурсы CPU для контейнера |
|
|
Запрашиваемые ресурсы памяти для контейнера |
|
mig – стратегия управления Multi-Instance GPU#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Стратегия управления MIG. |
|
driver – конфигурация установки и управления драйвером NVIDIA#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение автоматической установки драйвера NVIDIA через оператор |
|
|
Использование |
|
|
Создание CR драйвера по умолчанию при включенном управлении через CRD |
|
|
Тип драйвера. |
|
|
Селектор узлов для планирования pod |
|
|
Тип модуля ядра. |
|
|
Использование предварительно скомпилированных пакетов драйвера, находится на стадии технологического превью |
|
|
Реестр для образа драйвера NVIDIA |
|
|
Параметры контейнерного образа |
|
|
Версия драйвера для установки, должна соответствовать поддерживаемым ядрам ОС |
|
|
Политика загрузки образа драйвера |
|
|
Список |
|
|
Задержка в секундах перед первой стартовой проверкой |
|
|
Интервал в секундах между проверками запуска |
|
|
Тайм-аут одной проверки, увеличенный для учета длительных операций |
|
|
Количество неудачных попыток проверки запуска |
|
|
Включение поддержки RDMA для высокоскоростной межпроцессной коммуникации через GPU |
|
|
Использование MOFED-драйверов хоста вместо установки внутри контейнера |
|
|
Глобальный переключатель автоматического обновления драйвера на узлах |
|
|
Максимальное количество узлов, обновляемых параллельно ( |
|
|
Допустимый процент или количество узлов, которые могут быть недоступны во время обновления |
|
|
Тайм-аут ожидания завершения pod или job перед продолжением обновления драйвера |
|
|
Селектор для фильтрации pod для ожидания перед обновлением |
|
|
Принудительное удаление pod с GPU, если корректное завершение не предусмотрено |
|
|
Тайм-аут на ожидание завершения pod перед принудительным удалением |
|
|
Разрешение удаления pod с временного хранилища |
|
|
Включение |
|
|
Принудительный drain даже при наличии pod с local storage или |
|
|
Селектор для исключения определенных pod из процедуры drain |
|
|
Тайм-аут операции drain для предотвращения бесконечного ожидания |
|
|
Разрешение удаления pod с |
|
|
Репозиторий образа менеджера драйверов |
|
|
Параметры контейнерного образа |
|
|
Версия менеджера драйверов, совместимая с текущей версией оператора |
|
|
Политика загрузки образа менеджера драйверов |
|
|
Переменные окружения контейнера |
|
|
Переменные окружения контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Имя |
|
|
Имя |
|
|
Имя |
|
|
Включение NVIDIA Licensing Service для централизованного управления лицензиями |
|
|
Конфигурация топологии vGPU для оптимизации размещения виртуальных экземпляров |
|
|
Имя |
|
|
Имя |
|
|
Использование сетевого пространства хоста для контейнера драйвера |
|
toolkit – параметры NVIDIA Container Toolkit#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение NVIDIA Container Toolkit для поддержки GPU в контейнерах |
|
|
Репозиторий образа Container Toolkit |
|
|
Параметры контейнерного образа |
|
|
Версия Container Toolkit |
|
|
Политика загрузки образа Container Toolkit |
|
|
Список |
|
|
Переменные окружения контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Каталог установки Container Toolkit на хосте, должен совпадать с путями в контейнерах |
|
|
Использование сетевого пространства хоста для контейнера Container Toolkit |
|
devicePlugin – настройки плагина устройства Kubernetes для GPU#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение плагина устройства Kubernetes для экспорта ресурсов GPU |
|
|
Репозиторий образа |
|
|
Параметры контейнерного образа |
|
|
Версия плагина устройства |
|
|
Политика загрузки образа плагина |
|
|
Список |
|
|
Аргументы, переопределяющие стандартные аргументы запуска контейнера |
|
|
Переменные окружения контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Создание нового |
|
|
Имя существующего или создаваемого |
|
|
Имя конфигурации по умолчанию внутри |
|
|
Данные для создаваемого |
|
|
Корневой путь MPS (Multi-Process Service) на хосте для совместного использования GPU |
|
|
Использование сетевого пространства хоста для контейнера плагина устройства |
|
dcgm – параметры автономного DCGM hostengine#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение автономного DCGM hostengine (отключено по умолчанию, используется встроенный в exporter) |
|
|
Репозиторий образа DCGM |
|
|
Параметры контейнерного образа |
|
|
Версия DCGM |
|
|
Политика загрузки образа |
|
|
Аргументы, переопределяющие стандартные аргументы запуска контейнера |
|
|
Переменные окружения контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Использование сетевого пространства хоста для контейнера DCGM |
|
dcgmExporter – конфигурация экспортера метрик DCGM для Prometheus#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение экспортера метрик DCGM для Prometheus |
|
|
Аннотации, добавляемые ко всем создаваемым ресурсам |
|
|
Репозиторий образа экспортера |
|
|
Параметры контейнерного образа |
|
|
Версия экспортера |
|
|
Политика загрузки образа |
|
|
Переменные окружения контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Использование PID-пространства имен хоста |
|
|
Использование сетевого пространства хоста для контейнера |
|
|
Обогащение метрик GPU метаданными pod (UID, метки) |
|
|
Добавление UID pod к метрикам GPU |
|
|
Политика внутреннего трафика |
|
|
Включение |
|
|
Интервал сбора метрик |
|
|
Сохранение оригинальных меток метрик при скрейпинге |
|
|
Дополнительные метки для |
|
|
Правила переименования и фильтрации метрик на этапе сбора. |
|
gfd – настройки GPU Feature Discovery для добавления меток на узлы#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение GPU Feature Discovery для автоматического добавления меток на узлы с GPU |
|
|
Репозиторий образа GFD |
|
|
Параметры контейнерного образа |
|
|
Версия GFD |
|
|
Политика загрузки образа |
|
|
Список |
|
|
Переменные окружения контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Использование сетевого пространства хоста для контейнера GFD |
|
migManager – управление конфигурацией MIG на узлах#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение менеджера конфигурации MIG для автоматического применения профилей |
|
|
Репозиторий образа MIG |
|
|
Параметры контейнерного образа |
|
|
Версия менеджера MIG |
|
|
Политика загрузки образа |
|
|
Список |
|
|
Переменные окружения контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Имя конфигурации MIG по умолчанию из |
|
|
Создание нового |
|
|
Имя существующего или создаваемого |
|
|
Данные для создаваемого |
|
|
Имя |
|
|
Использование сетевого пространства хоста для контейнера менеджера MIG |
|
nodeStatusExporter – экспортер статуса GPU-узлов#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение экспортера статуса узлов для оператора |
|
|
Репозиторий образа экспортера |
|
|
Параметры контейнерного образа |
|
|
Политика загрузки образа |
|
|
Список |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Использование сетевого пространства хоста для контейнера экспортера |
|
gds – параметры GPUDirect Storage для ускоренного доступа к данным#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение GPUDirect Storage для прямого доступа GPU к хранилищам данных |
|
|
Репозиторий образа |
|
|
Параметры контейнерного образа |
|
|
Версия GDS |
|
|
Политика загрузки образа |
|
|
Список |
|
|
Переменные окружения контейнера |
|
|
Аргументы, переопределяющие стандартные аргументы запуска контейнера |
|
gdrcopy – настройки GDRCopy для быстрого копирования между GPU и памятью#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение GDRCopy для ускоренного копирования между GPU и системной памятью |
|
|
Репозиторий образа |
|
|
Параметры контейнерного образа |
|
|
Версия GDRCopy |
|
|
Политика загрузки образа |
|
|
Список |
|
|
Переменные окружения контейнера |
|
|
Аргументы, переопределяющие стандартные аргументы запуска контейнера |
|
vgpuManager – конфигурация менеджера vGPU#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение менеджера vGPU для виртуализации графических ресурсов |
|
|
Репозиторий образа |
|
|
Параметры контейнерного образа |
|
|
Версия менеджера vGPU |
|
|
Политика загрузки образа |
|
|
Список |
|
|
Переменные окружения контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Репозиторий образа менеджера драйверов для vGPU |
|
|
Параметры контейнерного образа |
|
|
Версия менеджера драйверов |
|
|
Политика загрузки образа |
|
|
Переменные окружения контейнера |
|
|
Имя |
|
|
Использование сетевого пространства хоста для контейнера менеджера vGPU |
|
vgpuDeviceManager – управление устройствами vGPU в кластере#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение менеджера устройств vGPU |
|
|
Репозиторий образа |
|
|
Параметры контейнерного образа |
|
|
Версия менеджера |
|
|
Политика загрузки образа |
|
|
Список |
|
|
Переменные окружения контейнера |
|
|
Имя |
|
|
Имя конфигурации по умолчанию внутри |
|
|
Использование сетевого пространства хоста для контейнера менеджера устройств vGPU |
|
vfioManager – настройки VFIO для безопасного доступа GPU#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение менеджера VFIO для безопасного доступа GPU в виртуальные машины |
|
|
Репозиторий образа менеджера VFIO |
|
|
Параметры контейнерного образа |
|
|
Версия образа |
|
|
Политика загрузки образа |
|
|
Список |
|
|
Переменные окружения контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Репозиторий образа менеджера драйверов для VFIO |
|
|
Параметры контейнерного образа |
|
|
Версия менеджера драйверов |
|
|
Политика загрузки образа |
|
|
Переменные окружения контейнера |
|
|
Использование сетевого пространства хоста для контейнера менеджера VFIO |
|
kataManager – интеграция с Kata Containers#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение интеграции с Kata Containers для изолированных рабочих нагрузок с GPU |
|
|
Конфигурация Kata Containers: каталог артефактов, классы среды исполнения, селекторы узлов |
|
|
Политика загрузки образа |
|
|
Список |
|
|
Переменные окружения контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Использование сетевого пространства хоста для контейнера Kata Manager |
|
sandboxDevicePlugin – плагин устройства для sandbox-окружений#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение плагина устройства для sandbox-окружений (KubeVirt и др.) |
|
|
Репозиторий образа плагина |
|
|
Параметры контейнерного образа |
|
|
Версия плагина |
|
|
Политика загрузки образа |
|
|
Список |
|
|
Аргументы, переопределяющие стандартные аргументы запуска контейнера |
|
|
Переменные окружения контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Использование сетевого пространства хоста для контейнера плагина |
|
kataSandboxDevicePlugin – плагин устройства Kata sandbox#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение плагина устройства Kata sandbox для изолированных рабочих нагрузок GPU |
|
|
Репозиторий образа плагина |
|
|
Параметры контейнерного образа |
|
|
Версия плагина |
|
|
Политика загрузки образа |
|
|
Список |
|
|
Аргументы, переопределяющие стандартные аргументы запуска контейнера |
|
|
Переменные окружения контейнера |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Использование сетевого пространства хоста для контейнера плагина |
|
ccManager – управление функциями конфиденциальных вычислений#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Включение менеджера конфиденциальных вычислений (Confidential Computing) |
|
|
Режим работы по умолчанию: |
|
|
Репозиторий образа |
|
|
Параметры контейнерного образа |
|
|
Версия менеджера |
|
|
Политика загрузки образа |
|
|
Список |
|
|
Запросы и ограничения ресурсов для pod |
|
|
Использование сетевого пространства хоста для контейнера менеджера |
|
extraObjects – дополнительные объекты Helm-чарта#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Добавление дополнительных динамических объектов в Helm-чарте |
|
node-feature-discovery – встроенная конфигурация NFD#
Параметр |
Описание |
Значение по умолчанию |
|---|---|---|
|
Имя |
|
|
Включение garbage collector для очистки устаревших меток NFD |
|
|
Количество реплик pod инструмента |
|
|
Имя |
|
|
Создание |
|
|
Имя |
|
|
Создание |
|
|
|
|
|
Список классов PCI устройств для обнаружения ( |
|
|
Поля устройств для добавления в метки (vendor, device и др.) |
|
|
Имя |
|
|
Создание |
|
|
Дополнительные пространства имен для меток, например, |
|