Trainer#

Trainer (Kubeflow Trainer) - инструмент для распределенного обучения и дообучения больших языковых моделей (LLM) и AI-моделей. Предназначен для организации многоузловых распределенных заданий с несколькими графическими процессорами в кластерах высокопроизводительных вычислений (High-performance computing, HPC), обеспечивает высокоскоростную синхронизацию между узлами и максимально эффективное использование GPU.

Основные функции:

• Интеграция с оркестратором AI-нагрузок LeaderWorkerSet.

• Распределенное обучение AI-моделей на Kubernetes-платформах с поддержкой PyTorch, JAX, XGBoost, DeepSpeed, MLX, HuggingFace и других фреймворков.

• Интеграция стандарта взаимодействия ядер (Message Passing Interface, MPI) для оркестрации высокопроизводительных вычислений с эффективными коммуникациями между процессами.

• Распределенный кеш данных с потоковой передачей крупномасштабных данных напрямую на GPU-узлы (zero-copy transfer).

• API для декларативного описания задач обучения и конфигурации среды выполнения.

• Интеграция с Volcano для управления очередями и приоритизацией задач обучения.

• Улучшенная наблюдаемость за счет распространения метрик на статус учебного задания и интеграции набора сервисов для управления заданиями (Flux Framework) для рабочих нагрузок HPC и MPI.