Platform V Corax — инструмент на базе Apache Kafka для работы с потоками данных в режиме реального времени с возможностью горизонтального масштабирования. Осенью 2025 года команда продукта выпустила релиз 13.391.0 со значительными доработками в одном из ключевых компонентов — Schema Registry. Это централизованное хранилище схем данных, которое обеспечивает согласованность форматов сообщений между производителями и потребителями данных.
В этом обзоре рассказываем подробно про главные обновления.
Новое ядро Kafka 3.9.1
Новый релиз построен на ядре Apache Kafka 3.9.1, который вышел в мае 2025 года, он сочетает универсальность и надежность. Несмотря на переход на кворум Kraft, в нем сохраняется поддержка Zookeeper, включая актуальные обновления безопасности.
Развитие Schema Registry
Schema Registry или реестр схем — важный компонент в кластере, ведь он отвечает за валидацию сообщений по схемам и их хранение. Благодаря доработкам в обновленной версии теперь его можно назвать полным аналогом Confluent Schema Registry.
Работа в несколько узлов. Одна из главных проблем распределенных сервисов — обеспечить при этом корректную работу. Чтобы решить эту задачу, в обновленной версии узлам добавлен механизм разрешения конфликтов на основе топика Kafka.
Как это работает? Заведен счетчик watermark, который может только увеличиваться. Записи занимают по одному watermark, но каждое значение можно занять только одной записью.
Преимущества механизма:
- использует гарантии Kafka: все узлы реестра видят топик одинаково;
- все узлы равнозначны;
- не требуется перенастройка для добавления или удаления узла.
Сжатие топика. Размер топика с данными реестра постоянно растет, но удалять старые сообщения нельзя? В таком случае выручит механизм Kafka — Topic compaction, под требования которого был адаптирован формат хранения данных.
Удобная очистка старых данных. В обновленной версии добавлено несколько способов очистки. Например, отдельным rest-запросом к реестру можно удалить все схемы старше определенной даты.
Подробнее о ключевых доработках, которые отличают продукт СберТеха от open source Apache Kafka и позволяют решить задачи крупного бизнеса, читайте в этой статье.
Чтобы узнать больше о возможностях Platform V Corax, оставьте заявку на консультацию. Также вы можете взять тестовый дистрибутив или заказать техническую поддержку Apache Kafka — заполните для этого форму по ссылке.
