Введение#
Corax Mirror Maker 2 — это инструмент для репликации данных и метаданных между кластерами Platform V Corax/Apache Kafka. Он основан на платформе Kafka Connect и упрощает процесс настройки и масштабирования репликации, обеспечивая синхронизацию разделов, смещений и секций между кластерами.
Mirror Maker это инструмент межкластерной репликации, и он отличается от механизма внутрикластерной репликации в Kafka.
Ключевые функции#
Репликация топиков — синхронизация сообщений между кластерами с сохранением порядка и конфигурациями.
Поддержка нескольких кластеров — репликация между несколькими источниками и приемниками.
Динамическое обнаружение изменений — автоматически обнаруживает новые топики и партиции, и синхронизирует их с целевыми кластерами.
Checkpoints — сохранение позиций (offsets) для восстановления после сбоев.
Покрытие метриками — обеспечивается широкий спектр метрик, таких как данные о задержках (лаг) репликации на кластерах или объединении кластеров.
Топологии Active-Active/Active-Standby — гибкость в настройке режимов работы.
Масштабируемость — позволяет легко масштабировать процессы репликации благодаря использованию Kafka Connect.
Отказоустойчивость — повышает надежность процессов репликации за счет автоматического восстановления соединений и обработки ошибок.
Сценарии применения#
Mirror Maker применяется для:
Репликации между удаленными кластерами.
Аварийного восстановления.
Организации единого кластера из нескольких кластеров.
Изоляции кластера (например, деление на промышленный и тестовый).
Облачная миграция или гибридные облачные развертывания.
Важные примечания#
Совместимость: Все параметры должны соответствовать требованиям вашей инфраструктуры Kafka.
Безопасность: Настройки безопасности особенно важны при взаимодействии с защищенными кластерами.
Мониторинг: Важно следить за значениями метрик для ранней диагностики проблем.