Описание#

Platform V Corax — программный брокер сообщений, представляющий собой распределенную, отказоустойчивую, реплицированную и легко масштабируемую систему передачи сообщений, рассчитанную на высокую пропускную способность. Спроектирован специально для работы с большими объемами данных. Работает по принципу «публикация — доставка». Доставка сообщений осуществляется от так называемого Производителя сообщений (Producer) его Подписчикам (Consumer). Чтобы подписчик смог прочитать сообщение, он должен предварительно подписаться на некоторый канал, в который производитель «публикует» сообщения.

Высокая пропускная способность Platform V Corax обеспечивается как со стороны источников, так и для систем подписчиков. Подписчики могут объединяться в группы, а данные могут временно храниться для последующей пакетной обработки. Все сообщения Platform V Corax хранит на диске.

Platform V Corax основан на open-source-решении Apache Kafka — брокере сообщений, реализованном на языке Scala. По сути, Platform V Corax является standalone-приложением, работающим на JVM.

Ключевые функциональные особенности:

• запись сообщения в топик (адресное пространство);

• чтение сообщений из топика;

• доступность данных при потере одного узла;

• сохранность данных при аварийной остановке всех узлов кластера;

• возможность перераспределить нагрузку между узлами;

• отправка информации в платформенный компонент аудита, в частности:

  • Создание топика;

  • Удаление топика;

  • Создание ACL-листов;

  • Удаление ACL-листов;

  • Получение списка ACL-листов;

  • Получение параметров конфигурации топика / динамической конфигурации кластера;

  • Изменение параметров конфигурации топика / динамической конфигурации кластера;

  • Перераспределение партиций;

  • Создание consumer-группы;

  • Удаление смещений (offsets) consumer-группы;

  • Удаления consumer-группы;

  • Изменение квотирования;

  • Просмотр информации об используемом Authorizer;

• предоставление событий мониторинга по протоколу JMX;

• подготовку инструментов администрирования для:

  • создания/удаления топика;

  • создания/удаления ACL;

  • распределения нагрузки между узлами кластера;

  • изменения конфигурации топиков;

  • увеличения фактора репликации топиков;

  • сохранения/восстановления конфигурации ACL;

  • получения информации по смещению топиков.

Продукт Platform V Corax (KFK) состоит из одного программного компонента Corax (KFKA).

Рекомендации по установке, диаграммы развертывания, руководства по эксплуатации и безопасному использованию, сценарии администрирования и другую техническую информацию смотрите в документации на компонент.