Platform V Corax – распределенная система обработки потоковых данных на базе Apache Kafka. Импортозамещенная Kafka от СберТеха. Изначально команда Platform V Corax разрабатывала продукт и выполняла доработки ядра Kafka под потребности Сбера, а в компании сложные технические задачи, связанные с разнообразным ИТ-ландшафтом, повышенными требованиями к безопасности, отказоустойчивости, производительности и упрощению администрирования. Продукт постоянно используется в Сбере, в том числе в системах уровня mission critical, где нужно быстро устранять уязвимости и критические дефекты.
Сейчас Platform V Corax доступен для внешнего рынка. Доработки команды продукта позволяют закрывать задачи по работе с потоками данных в режиме реального времени в любых крупных компаниях, где работают с большими объемами информации в условиях строгих стандартов по части безопасности. ПО зарегистрировано в РППО, а это значит, полностью подходит для задач импортозамещения. О том, какие доработки отличают продукт СберТеха от open source Apache Kafka и позволяют решить задачи бизнеса рассказывает Антон Виноградов, архитектор Platform V Corax.
Чем Corax отличается от Kafka
Ниже приведу наиболее значимые функциональные возможности Platform V Corax, которые недоступны в Apache Kafka, и коротко опишу их предназначение.
Модуль интеграции с kTLS. В компаниях с повышенными требованиями к безопасности информации при работе с данными используется шифрование. Когда вы шифруете данные, производительность кластера падает. Команда продукта разработала модуль интеграции с kTLS, который в режиме с шифрованием в полтора раза ускоряет чтение. Или можно на столько же снизить нагрузку на процессор, следовательно, потратить меньше электричества и сэкономить на стоимости решения. Подробно мы рассказывали об этой доработке в прошлой статье — Больше Kafka за те же деньги — Platform V Corax. Внутри технические детали и замеры производительности.
Schema Registry — централизованное хранилище схем данных, которое обеспечивает согласованность форматов сообщений между производителями и потребителями данных. Это позволяет предотвращать ошибки из-за несоответствия структур данных. Упрощает администраторам управление – можно обновлять схемы без остановки сервисов. Повышает надежность – автоматически проверяет новые схемы на конфликты. Стоит отметить, что решение полностью совместимо по API с ванильной Confluent Schema Registry, включая возможность экспорта схем из неё.
Собственный UI на базе Kafbat, знакомого всем, кто связан с Kafka. Консоль управления и мониторинга Kafka-кластера дает возможность отслеживать состояние серверов – загрузку CPU, памяти, дисков, сетевой трафик. Управлять топиками – создавать, настраивать, удалять, проверять задержки сообщений. Анализировать производительность – скорость обработки данных, лаги потребителей (consumers), репликацию. Выявлять проблемы – ошибки брокеров, отставания реплик, нехватку ресурсов. А также настраивать безопасность – квоты, ACL (права доступа), аудит действий.
Auto Data Balancer. Автоматическая ребалансировка данных в кластере. Этот инструмент позволяет автоматически распределять данные между узлами кластера, чтобы избежать перекосов нагрузки. Соответственно, предотвратить перегрузку отдельных серверов – данные равномерно распределяются, снижая риски замедления или отказов. Упростить масштабирование – при добавлении новых узлов балансировка происходит без ручного вмешательства. И повысить отказоустойчивость – сводится к минимуму риск потери данных, если один из узлов выйдет из строя.
E2E Encryption (сквозное шифрование) в Platform V Corax защищает данные на всем пути — от отправителя до получателя. Это позволяет исключить перехват данных — даже при взломе сети злоумышленник не сможет прочитать сообщения. К тому же эта доработка в части безопасности позволяет соответствовать требованиям регуляторов, например, ФЗ-152 о персональных данных или отраслевым стандартам безопасности.
Additional metrics. Получение временной статистики по сообщениям (время записи, время вычитывания, время подтверждения чтения). Эти дополнительные метрики в Platform V Corax позволяют детально анализировать работу потоков данных. Благодаря чему можно выявлять узкие места (например, задержки при записи или чтении сообщений, которые тормозят систему) и оптимизировать производительность.
DevOps Automation. Автоматические обновления, масштабирование и ребалансировка экономят время инженеров и снижают риски «ручных ошибок» при настройке или ремонте кластера.
Следует уточнить, что в Platform V Corax сохранена вся ванильная функциональность Apache Kafka. В приведенном выше списке не все наши доработки, а наиболее крупные и значимые для корпоративного сектора. Команда продукта предоставляет вендорскую поддержку уровня L3 - можно получить помощь в тонкой настройке под конкретные сценарии и оперативном решении сложных технических инцидентов.
Чтобы узнать больше о возможностях Platform V Corax, оставьте заявку на консультацию. Также вы можете взять тестовый дистрибутив или заказать техническую поддержку Apache Kafka - заполните для этого форму по ссылке.
