Platform V
Corax

Platform V Corax — инструмент для работы с потоками данных в режиме реального времени  с возможностью горизонтального масштабирования.

Platform V Corax

Platform V Corax — система обработки и передачи сообщений для работы с большими объемами данных. Программный продукт позволяет разделить приложение на отдельные модули. Они работают независимо друг от друга. Это не только упрощает архитектуру приложений и снижает число потенциальных ошибок, но и повышает общую надёжность ИТ-систем.

Одна из характеристик Platform V Corax — высокая пропускная способность, которая обеспечивается на стороне как источников, так и систем подписчиков. За счёт этого брокер обрабатывает большие потоки данных без задержек.

Предусмотрены опции для администрирования и управления данными. В частности, можно создавать и удалять топики или управлять доступом с помощью ACL (списков контроля доступа). Возможности конфигурации и динамического управления нагрузками обеспечивают гибкость в распределении ресурсов между узлами кластера.

Принцип работы

В основе продукта лежит принцип «публикация — доставка». Это позволяет производителю/поставщику (producer) публиковать сообщения, которые затем доставляются подписчикам (consumer). Для этого последние должны быть подключены к каналу (topic), куда поставщик отправляет сообщения. Несколько потребителей объединяются в группу (Consumer group).

Брокер (broker) представлен в виде сервера. Несколько брокеров объединяют в кластер (cluster) для масштабируемости и отказоустойчивости. Каждый брокер имеет набор топиков (topic) — поток данных, объединенных одной темой. В свою очередь, топик делится на партиции (partition). Это единицы хранения данных с упорядоченной и неизменной последовательностью сообщений. Партиции могут делиться на сегменты (segment).

Platform V Corax представлен компонентом Corax. Он включает:

• сервис-координатор Apache ZooKeeper (управляет работой брокера);
• брокер Apache Kafka (используется для приема, хранения и передачи сообщений).

В составе Corax (KFKA) также доступны решения с опциональной установкой. Corax UI — интерфейс пользователя с визуальными инструментами для отслеживания состояния кластеров Kafka. Сервис Corax Schema Registry позволяет централизованно определять схемы, которые Kafka использует для записи и чтения сообщений.

Плюсы работы с Platform V Corax

Platform V Corax — программный продукт, ориентированный на обеспечение полного цикла управления и обработки данных, в том числе для высоконагруженных систем.

Corax отличается от Apache Kafka тем, что предоставляет комплексное решение:

• техподдержка команды СберТеха (дефекты, инциденты, консультации по настройке и другие);
• патчи безопасности, не содержащие уязвимости CVE (Common Vulnerabilities and Exposures);
• автоматическая установка и обновления кластера (Ansible-роль);
• мониторинг (consumer lag метрика, проверка истечения срока жизни сертификата tls expire date, компонент Prometheus exporter);
• защита передаваемых данных (компонент kTLS, интеграция с менеджером паролей SecMan);
• Auto Data Balancer (автоматическая ребалансировка, дополнительные консольные утилиты).

Сервис масштабируется как по горизонтали, так и по вертикали. Можно добавить новые узлы или улучшить характеристики существующих.

Использование брокеров сообщений позволяет поддерживать модульность инфраструктуры, управлять её сложностью, повышать надёжность и производительность, а также одновременно сокращать издержки на разработку и поддержание ИТ-систем.

Отдельно стоит отметить независимость Platform V Corax от иностранных поставщиков.