Platform V
Corax

Распределенная система обработки потоковых данных на базе Apache Kafka
integration.webp
Platform V Corax — инструмент для работы с потоками данных в режиме реального времени с возможностью горизонтального масштабирования
Аналоги
Confluent
RabbitMQ
IBM MQ
Гарантирует доставку сообщений без дублей в режиме реального времени
Позволяет обеспечить соблюдение повышенных требований к защите хранимых данных
Обеспечивает сбор, обработку, передачу и анализ больших объемов данных

Ключевые преимущества

01

550+ внедрений продукта в Сбере

02

Более 25 000 серверов с Platform V Corax в Сбере

03

120 МБ в секунду — средняя скорость записи на один узел

04

190 000 сообщений в секунду — средний tps / per server

Подходит для компаний

briefcase-alt-4.svg
B2B, B2G
switch-horizontal-01.svg
С необходимостью гарантированной доставки сообщений между системами
alert-triangle.svg
С системами уровня mission critical, где необходимо быстро устранять уязвимости и критические дефекты
server-03.svg
С большим объемом данных

Функциональность

layout-grid-02.svg
Распределенное хранение данных
graduation-hat-01.svg
Шифрование канала между клиентом и брокером
lock-01.svg
Контроль доступа пользователей и приложений
intersect-square.svg
ACID-транзакции
data.svg
Интеграция с модулем kTLS — поддержка Zero Copy с включенным TLS
puzzle-piece-01.svg
Автоматическая ребалансировка данных в кластере
check-circle.svg
Автоматизация инсталляции и обновления кластера
pencil-line.svg
Консоль управления и мониторинга кластера
folder-shield.svg
Дополнительные функции безопасности данных

Документация

Результаты внедрений

Platform V Corax в цифрах*
5,7 ТБ в секунду
Общая скорость чтения из кластера
2,8 ТБ в секунду
Общая скорость записи в кластер
4 560 000 сообщений в секунду
Суммарный tps на кластере
24 узла
Самый большой кластер
288 ТБ
Количество данных, хранимых на кластере
240 МБ в секунду
Средняя скорость чтения из одного узла кластера

Отличия Platform V Corax от Apache Kafka

Platform V Corax
Apache Kafka
Apache Kafka. Высокопроизводительная, отказоустойчивая распределенная платформа
Kakfa Connect API. Публичный API для подключения внешних источников
Kafka Stream API. Библиотека для стриминговых приложений, использующих Kafka
Additional Clients. Поддержка клиентов на языках  C, C++, Python, .Net и т. д.
Schema Registry. Центральный реестр схем данных
Admin UI. Визуальная утилита управления и мониторинга кластера
Auto Data Balancer. Автоматическая ребалансировка данных в кластере
E2E encryption. Шифрование данных от источника до потребителя
Additional metrics. Получение временной статистики по сообщениям (время записи, время вычитывания, время подтверждения чтения)
DevOps Automation. Автоматизация плановых операций с кластером
Support. Техническая поддержка, патчи с исправлением уязвимостей, hotfix, 24x7

Узнайте, как мы первыми в мире доработали ядро Apache Kafka и сделали интеграцию с kTLS

Пообщайтесь с экспертом

Оставьте запрос на консультацию — свяжемся с вами и ответим на вопросы

Новости Platform V Corax

Продукты категории «Интеграционные сервисы»
Synapse App Mesh
Распределенная корпоративная сервисная шина
Synapse API Mesh
Решение для управления жизненным циклом API в организации
SynGX
Высокопроизводительный веб- и обратный прокси-сервер
*По опыту эксплуатации в Сбере

Platform V Corax

Platform V Corax представляет собой систему обработки и передачи сообщений, созданную для решения задач организаций, которые работают с большими объемами данных. Это решение дает возможность разделить приложение на отдельные модули. Они работают независимо друг от друга. Это не только упрощает архитектуру приложений и снижает число потенциальных ошибок, но и повышает общую надежность ИТ-систем.

 

Возможности и функции продукта

В основе продукта лежит принцип «публикация-доставка», что позволяет поставщикам (Producer) публиковать сообщения, которые затем доставляются подписчикам (Consumer). Для этого последние должны быть подключены к каналу (topic), куда поставщик отправляет сообщения.
Одна из характеристик Platform V Corax — высокая пропускная способность, которая обеспечивается на стороне как источников, так и систем подписчиков. Это позволяет брокеру обрабатывать большие потоки данных без задержек. Подписчики могут объединяться в группы для совместной работы, использовать возможности временного хранения данных для их пакетной обработки.
Основа — решение Apache Kafka, реализованное на языке Scala. Это надежный продукт. Как standalone-приложение, которое работает на JVM, Platform V Corax устойчив к отказам и поддерживает репликацию данных, что обеспечивает их сохранность даже при критических сбоях системы.
Продукт предоставляет широкий спектр функциональности для администрирования и управления данными. В частности, можно создавать и удалять топики, в которых хранятся сообщения, а также управлять доступом с помощью ACL (списков контроля доступа). Дополнительно возможности конфигурации и динамического управления нагрузками обеспечивают гибкость в распределении ресурсов между узлами кластера.

Преимущества работы с продуктом Platform V Corax

Platform V Corax — это наследник Apache Kafka, который сохранил его преимущества. В первую очередь — производительность, ориентированную на обработку миллионов сообщений в секунду.
Благодаря архитектуре этот сервис масштабируется как по горизонтали, так и по вертикали. Это означает, что при необходимости увеличения пропускной способности можно, например, модернизировать аппаратное обеспечение серверов.
Использование брокеров сообщений позволяет поддерживать модульность инфраструктуры, управлять ее сложностью, повышать надежность и производительность, а также одновременно сокращать издержки на разработку и поддержание ИТ-систем.
Отдельно стоит отметить независимость Platform V Corax от иностранных поставщиков.