Platform V
Corax
Распределенная система обработки потоковых данных на базе Apache Kafka
Platform V Corax — инструмент для работы с потоками данных в режиме реального времени с возможностью горизонтального масштабирования
Гарантирует доставку сообщений без дублей в режиме реального времени
Позволяет обеспечить соблюдение повышенных требований к защите хранимых данных
Обеспечивает сбор, обработку, передачу и анализ больших объемов данных
.ecda60c0.webp&w=640&q=75)
Продукт зарегистрирован в Едином реестре российских программ
Сведения в реестреКлючевые преимущества
01
550+ внедрений продукта в Сбере
02
Более 25 000 серверов с Platform V Corax в Сбере
03
120 МБ в секунду — средняя скорость записи на один узел
04
190 000 сообщений в секунду — средний tps / per server
Подходит для компаний
B2B, B2G
С необходимостью гарантированной доставки сообщений между системами
С системами уровня mission critical, где необходимо быстро устранять уязвимости и критические дефекты
С большим объемом данных
Функциональность
Распределенное хранение данных
Шифрование канала между клиентом и брокером
Контроль доступа пользователей и приложений
ACID-транзакции
Интеграция с модулем kTLS — поддержка Zero Copy с включенным TLS
Автоматическая ребалансировка данных в кластере
Автоматизация инсталляции и обновления кластера
Консоль управления и мониторинга кластера
Дополнительные функции безопасности данных
Результаты внедрений
Platform V Corax в цифрах*
5,7 ТБ в секунду
Общая скорость чтения из кластера
2,8 ТБ в секунду
Общая скорость записи в кластер
4 560 000 сообщений в секунду
Суммарный tps на кластере
24 узла
Самый большой кластер
288 ТБ
Количество данных, хранимых на кластере
240 МБ в секунду
Средняя скорость чтения из одного узла кластера
Отличия Platform V Corax от Apache Kafka
Platform V Corax
Apache Kafka
Apache Kafka. Высокопроизводительная, отказоустойчивая распределенная платформа
Kakfa Connect API. Публичный API для подключения внешних источников
Kafka Stream API. Библиотека для стриминговых приложений, использующих Kafka
Additional Clients. Поддержка клиентов на языках C, C++, Python, .Net и т. д.
Schema Registry. Центральный реестр схем данных
Admin UI. Визуальная утилита управления и мониторинга кластера
Auto Data Balancer. Автоматическая ребалансировка данных в кластере
E2E encryption. Шифрование данных от источника до потребителя
Additional metrics. Получение временной статистики по сообщениям (время записи, время вычитывания, время подтверждения чтения)
DevOps Automation. Автоматизация плановых операций с кластером
Support. Техническая поддержка, патчи с исправлением уязвимостей, hotfix, 24x7
Узнайте, как мы первыми в мире доработали ядро Apache Kafka и сделали интеграцию с kTLS
Пообщайтесь с экспертом
Оставьте запрос на консультацию — свяжемся с вами и ответим на вопросы
Документация Platform V Corax
Новости Corax
Что нового в Platform V Corax: развитие Schema Registry и свежие фиксы безопасности
*По опыту эксплуатации в Сбере
Platform V Corax
Platform V Corax представляет собой систему обработки и передачи сообщений, созданную для решения задач организаций, которые работают с большими объемами данных. Это решение дает возможность разделить приложение на отдельные модули. Они работают независимо друг от друга. Это не только упрощает архитектуру приложений и снижает число потенциальных ошибок, но и повышает общую надежность ИТ-систем.
Возможности и функции продукта
В основе продукта лежит принцип «публикация-доставка», что позволяет поставщикам (Producer) публиковать сообщения, которые затем доставляются подписчикам (Consumer). Для этого последние должны быть подключены к каналу (topic), куда поставщик отправляет сообщения.
Одна из характеристик Platform V Corax — высокая пропускная способность, которая обеспечивается на стороне как источников, так и систем подписчиков. Это позволяет брокеру обрабатывать большие потоки данных без задержек. Подписчики могут объединяться в группы для совместной работы, использовать возможности временного хранения данных для их пакетной обработки.
Основа — решение Apache Kafka, реализованное на языке Scala. Это надежный продукт. Как standalone-приложение, которое работает на JVM, Platform V Corax устойчив к отказам и поддерживает репликацию данных, что обеспечивает их сохранность даже при критических сбоях системы.
Продукт предоставляет широкий спектр функциональности для администрирования и управления данными. В частности, можно создавать и удалять топики, в которых хранятся сообщения, а также управлять доступом с помощью ACL (списков контроля доступа). Дополнительно возможности конфигурации и динамического управления нагрузками обеспечивают гибкость в распределении ресурсов между узлами кластера.
Преимущества работы с продуктом Platform V Corax
Platform V Corax — это наследник Apache Kafka, который сохранил его преимущества. В первую очередь — производительность, ориентированную на обработку миллионов сообщений в секунду.
Благодаря архитектуре этот сервис масштабируется как по горизонтали, так и по вертикали. Это означает, что при необходимости увеличения пропускной способности можно, например, модернизировать аппаратное обеспечение серверов.
Использование брокеров сообщений позволяет поддерживать модульность инфраструктуры, управлять ее сложностью, повышать надежность и производительность, а также одновременно сокращать издержки на разработку и поддержание ИТ-систем.
Отдельно стоит отметить независимость Platform V Corax от иностранных поставщиков.