Настройка репликации#

Отображение режима репликации#

В GraDeLy есть три режима репликации:

Режим

Описание

Где настраивается

Синхронный

изменения применяются только после того, как запишутся в журнал предзаписи хотя бы одной реплики

На стороне источника администратором БД
(подробнее в «Руководстве администратора», разделе «Использование приложения оператором»,
Настройка синхронной репликации в PostgreSQL, Настройка синхронной репликации через DropApp
)

Асинхронный

изменения сначала применяются, и только потом фиксируются в журнале предзаписи реплики

По умолчанию в GraDeLy репликация асинхронна

Асинхронный с задержкой

подтверждение источнику отправляется только через некоторое время после того, как будут получены векторы изменений

На стенде за счет настройки задержки перед сбросом подтверждения и интервала между сбросами подтверждения (подробнее в Редактировании свойств модуля)

При синхронной репликации на модуле захвата отображается Графы репликации, Синхронный режим:

Графы репликации, Синхронный режим

При асинхронной репликации никаких специальных значков не отображается, так как асинхронный режим установлен по умолчанию.

При асинхронной репликации с задержкой поля задержка перед сбросом подтверждения и интервал между сбросами подтверждения для модуля захвата на вкладке Графы репликации, в окне Модуль, которое открывается при нажатии на модуль захвата, заполнены:

Графы репликации, Режим репликации

Редактирование свойств источника или потребителя данных#

Для просмотра информации о соединении нажмите прямоугольник со скругленными углами. Откроется информация об элементе:

  • ID;

  • имя;

  • описание;

  • тип;

  • драйвер;

  • URL;

  • пользователь;

  • пароль;

  • опции.

Для редактирования свойств источника/потребителя данных:

  1. Нажмите соединение на графе.

    Соединения, Редактирование соединения

  2. Нажмите Редактировать в открывшемся окне Соединение.

    Соединения, Редактирование соединения

  3. Выберите соединение в выпадающем списке в открывшемся окне Редактирование свойств источника/потребителя данных:

    • Source для источника данных;

    • Queue для передатчика данных;

    • Target для потребителя данных.

    Соединения, Редактирование соединения

  4. Нажмите Сохранить.

Редактирование свойств модуля#

Для просмотра информации о модуле нажмите на прямоугольник с острыми углами. Откроется информация об элементе:

модуль Capture

модуль Applier

- имя;
- ID;
- конфигурация;
- метка;
- задержка перед сбросом подтверждения;
- интервал между сбросами подтверждения;
- связанные процессы;
- статус — содержит кнопки старта,
принудительного перезапуска, остановки,
старта с позиции (при выставленных значениях
задержки перед сбросом подтверждения
и интервала между сбросами);
- маппинг.

- имя;
- ID;
- конфигурация;
- метка;
- отложенное применение;
- связанные процессы;
- статус — содержит кнопки старта,
принудительного перезапуска, остановки,
старта с позиции;
- маппинг.

Для редактирования свойств модуля Capture:#

  1. Нажмите модуль на графе.

    Соединения, Редактирование модуля

  2. Нажмите Редактировать в открывшемся окне Модуль.

    Соединения, Редактирование модуля

  3. Введите имя модуля в открывшемся окне Редактирование свойств модуля.

    По умолчанию в поле Имя модуля отображается имя, заданное при создании схемы графа.

    Соединения, Редактирование модуля

  4. Выберите конфигурацию модуля в выпадающем списке:

    По умолчанию в поле Конфигурация отображается конфигурация, заданная при создании схемы графа.

  5. Задайте задержку перед сбросом подтверждения и интервал между сбросами подтверждения в секундах, чтобы асинхронная репликация шла с задержкой:

    Режимы репликации описаны в подразделе Отображение режима репликации.

    • задержка перед сбросом подтверждения — время между тем, как изменения были записаны в приемник, и тем, как процесс посылает источнику подтверждения о получении изменений;

    • интервал между сбросами подтверждения — заданное количество секунд, через которое процесс посылает источнику подтверждения о получении изменений.

    Чем больше значения задержки и интервала, тем больше будет история изменений.

  6. Нажмите Сохранить.

Для редактирования свойств модуля Applier:#

  1. Нажмите модуль на графе.

    Соединения, Редактирование модуля

  2. Нажмите Редактировать в открывшемся окне Модуль.

    Соединения, Редактирование модуля

  3. Введите имя модуля в открывшемся окне Редактирование свойств модуля.

    По умолчанию в поле Имя модуля отображается имя, заданное при создании схемы графа.

    Соединения, Редактирование модуля

  4. Выберите конфигурацию модуля в выпадающем списке:

    По умолчанию в поле Конфигурация отображается конфигурация, заданная при создании схемы графа.

  5. Задайте в секундах задержку применения изменений в БД приемника, чтобы репликация из Kafka в БД приемника шла с задержкой:

    Задержка применения отсчитывается от времени операции в БД источника, а не от запуска графа. Например, если в поле Отложенное применение ввести 60 секунд, затем добавить данные в БД источника и запустить граф 20 секунд спустя, то модуль Applier применит изменения в БД приемника через 40 секунд после запуска графа.

    Соединения, Редактирование модуля

    На модуле Applier отображается значок ◷, если настроено отложенное применение:

    Соединения, Редактирование модуля

  6. Включите переупорядочивание операций в транзакции для оптимизации последовательности транзакций. Смена порядка транзакций повышает скорость записи на 30-50%.

    Соединения, Редактирование модуля

  7. Нажмите Сохранить.

Для редактирования маппинга:#

  1. Нажмите модуль Capture или Applier на графе репликации.

Графы репликации, Редактирование маппинга

  1. Нажмите Редактировать в поле Маппинг в открывшемся окне Модуль.

    Графы репликации, Редактирование маппинга

  2. Нажмите Визуальный редактор в открывшемся окне Редактирование маппинга.

    Графы репликации, Редактирование маппинга

    Редактирование JSON описано в разделе Соединения.

    Работа визуального редактора описисана в разделе Настройка маппинга.

Тестирование модуля#

Для проверки корректности созданного модуля перед запуском репликации:

Валидация модуля включает в себя валидацию соединений модуля (левое и правое) и конфигурации, которую модуль содержит. Конфигурация проверяется только для той БД, с которой модуль соединен. Так модуль применения содержит конфигурацию для приемника, а модуль захвата - для источника, поэтому рекомендуется проверить оба модуля.

  1. Нажмите модуль на графе.

    Соединения, Редактирование модуля

  2. Нажмите Тестировать в открывшемся окне Модуль.

    Соединения, Редактирование модуля

    Кнопка тестирования активна только, когда граф не запущен.

Если модуль настроен неверно, появится уведомление об ошибке валидации с описанием ошибки.