Описание#

Platform V Corax — программный брокер сообщений, представляющий собой распределенную, отказоустойчивую, реплицированную и легко масштабируемую систему передачи сообщений, рассчитанную на высокую пропускную способность. Спроектирован специально для работы с большими объемами данных. Работает по принципу «публикация — доставка». Доставка сообщений осуществляется от так называемого Производителя сообщений (Producer) его Подписчикам (Consumer). Чтобы подписчик смог прочитать сообщение, он должен предварительно подписаться на некоторый канал, в который производитель «публикует» сообщения.

Высокая пропускная способность Platform V Corax обеспечивается как со стороны источников, так и для систем подписчиков. Подписчики могут объединяться в группы, а данные могут временно храниться для последующей пакетной обработки. Все сообщения Platform V Corax хранит на диске.

Продукт Platform V Corax (KFK) состоит из одного программного компонента Corax (KFKA). В свою очередь Corax (KFKA) состоит из следующих компонентов:

Название компонента

Ответственность компонента

Apache ZooKeeper

Синхронизация состояния между брокерами

Apache Kafka

Хранение сообщений (получение/передача)

Corax Schema Registry

Контроль AVRO- и JSON-схем при записи данных в топик Corax

Corax UI

Визуальная утилита для администрирования модулей Corax

Ключевые функциональные особенности:

  • запись сообщения в топик (адресное пространство);

  • чтение сообщений из топика;

  • доступность данных при потере одного узла;

  • сохранность данных при аварийной остановке всех узлов кластера;

  • возможность перераспределить нагрузку между узлами;

  • отправка информации в платформенный компонент аудита, в частности:

    • Создание топика;

    • Удаление топика;

    • Создание ACL-листов;

    • Удаление ACL-листов;

    • Получение списка ACL-листов;

    • Получение параметров конфигурации топика / динамической конфигурации кластера;

    • Изменение параметров конфигурации топика / динамической конфигурации кластера;

    • Перераспределение партиций;

    • Создание consumer-группы;

    • Удаление смещений (offsets) consumer-группы;

    • Удаления consumer-группы;

    • Изменение квотирования;

    • Просмотр информации об используемом Authorizer (интерфейсе, который брокер Kafka использует для авторизации);

  • предоставление событий мониторинга по протоколу JMX;

  • подготовку инструментов администрирования для:

    • создания/удаления топика;

    • создания/удаления ACL;

    • распределения нагрузки между узлами кластера;

    • изменения конфигурации топиков;

    • увеличения фактора репликации топиков;

    • сохранения/восстановления конфигурации ACL;

    • получения информации по смещению топиков.

Рекомендации по установке, диаграммы развертывания, руководства по эксплуатации и безопасному использованию, сценарии администрирования и другую техническую информацию смотрите в документации на компонент.