Установка DataGrid с помощью Ansible#

Подготовка окружения#

Общие требования#

При подготовке окружения убедитесь в выполнении требований:

• Предоставлен доступ по SSH-соединению между узлами управления Ansible и хостами DataGrid. Инструкции и команды для проверки SSH-соединений для всех задействованных хостов смотрите в разделе «Предварительная подготовка на управляющем хосте».

• Имеются привилегированные права для разделения задач. Ansible Role для DataGrid поддерживает разделение задач на основе тегов. Задачи разделяются на требующие и не требующие привилегированных прав root. Обратите внимание: на некоторых шагах установки потребуется root-доступ; подробнее смотрите в разделе «Установка без привилегированных прав (root-доступа)».

Настройка виртуального окружения в Python и установка Ansible#

Для настройки окружения и установки Ansible Role:

• Установите пакет Ansible 2.9.x - 2.12. Рекомендуем установить пакет Ansible вместо Ansible Core (ansible-core), который содержит минимальное количество модулей и плагинов. Установка пакета Ansible избавляет от ручной установки дополнительных модулей и плагинов, которые необходимы для DataGrid Ansible Role.

• Установите виртуальное окружение:

  python -m venv $HOME/python-venv/ansible

• Активируйте виртуальное окружение:

  source $HOME/python-venv/ansible/bin/activate

• Установите ansible pip install ansible или pip install ansible с версией 2.10.7:

  pip install ansible == 2.10.7

Предварительная подготовка на управляющем хосте#

Подготовка рабочей директории#

В примерах ниже подразумевается, что на управляющем хосте, с которого выполняется установка, рабочей директорией для процесса установки является /tmp/installer/:

1. Перенесите дистрибутив DataGrid-<version>.zip в /tmp/installer/ на управляющем хосте.

2. Создайте директорию и распакуйте дистрибутив:

   mkdir -pv /tmp/installer/distrib
   unzip /tmp/installer/Ignite-SE-<version>.zip -d /tmp/installer/distrib/
   

3. Создайте директорию и распакуйте архив с ansible-сценариями:

   mkdir -pv /tmp/installer/roles
   unzip /tmp/installer/distrib/Ignite-SE-<version>/Ignite-SE-ansibleRole-<version>.zip -d /tmp/installer/roles/datagrid
   

Подготовка файла Ansible-Inventory для установки DataGrid#

1. Перед запуском Ansible создайте файл инвентаризации, где укажите хосты, на которых будет установлен DataGrid.

2. Задайте переменные подключения, чтобы узел управления Ansible мог подключаться к каждому хосту DataGrid, и переменную datagrid_java_home.

3. Создайте файл с описанием конфигурации и переменными inventory.yml:

   cat <<'EOF' > /tmp/installer/inventory.yml
   cluster_datagrid:
     vars:
       ansible_connection: ssh
       ansible_user: sshlogin
       ansible_ssh_pass: sshpsw
       ansible_become_pass: sshpsw
       datagrid_local_distr_path: "Ignite-SE-16.0.0-81-distrib.zip"
       datagrid_java_home: "/usr/lib/jvm/openjdk-11"
     hosts:
       10.10.10.10:
         ansible_host: "10.10.10.10" 
       10.10.10.11:
         ansible_host: "10.10.10.11"
       10.10.10.12:
         ansible_host: "10.10.10.12"
   EOF
   

4. Создайте файл установки install-datagrid.yml:

   cat <<'EOF' > /tmp/installer/datagrid-install.yml
   ---
   - hosts: 'cluster_datagrid'
     tasks:
     - name: "Install DataGrid"
       include_role:
         name: datagrid
       vars:
         datagrid_addresses: "{{ groups[ansible_play_name] }}"
       tags:
       - root
       - datagrid_stop_process
       - datagrid_start_process
       - backup
       - restore
       - clean
       - clean-root
   EOF
   

5. Создайте файл control-datagrid.yml для проверки состояния, активации, деактивации DataGrid:

   cat <<'EOF' > /tmp/installer/datagrid-control.yml
   ---
   - hosts: 'cluster_datagrid'
     tasks:     
     - name: "call control_sh"
       include_role:
         name: "datagrid"
         tasks_from: "control_sh.yml"
   EOF
   

Проверка SSH-соединений#

Чтобы убедиться в подключении Ansible через SSH, выполните команду:

ansible -i /tmp/installer/inventory.yml all -m ping

В результате выполнения команды происходит проверка доступности интерпретатора Python для использования на всех хостах. В случае успешной проверки команда возвращает pong в качестве результата.

Рекомендуется хранить файл инвентаризации в собственном репозитории Git для каждого из ваших развертываний.

Установка DataGrid с помощью Ansible#

Выполнение задач с привилегированными правами (root-доступом)#

При выполнении задач с привилегированными правами создаются группа, пользователь, директории, службы, а также устанавливаются разрешения и добавляются права в sudoers.

Для запуска задач с привилегированными правами используйте теги:

• root — тег для задач, связанных с созданием группы, пользователя, директории, службы, для установки разрешений и добавления прав в sudoers;

• clean-root — тег для задач, связанных с удалением DataGrid, группы, пользователя, директории, службы.

Для выполнения задач, связанных с созданием группы, пользователя, директории, службы, установкой разрешения и добавкой прав в sudoers, перейдите в каталог с ansible-сценарием, запустите ansible-playbook с тегом root и дождитесь завершения выполнения:

cd /tmp/installer/
ansible-playbook -i ./inventory.yml ./datagrid-install.yml --tags=root

Примечание

В случае успешного выполнения в выводе команды в разделе PLAY RECAP напротив каждого хоста появится строчка unreachable=0 failed=0.

Выполнение задач по установке DataGrid#

Для запуска предполагается, что на серверах кластера DataGrid созданы группа, пользователь, директория, а также установлены разрешения на доступ к директории.

В примере ниже подразумевается, что установлены группа и пользователь ignite; чтобы изменить на другую группу и на другого пользователя, добавьте соответствующие изменения в файл с описанием конфигурации inventory.yml.

cluster_datagrid:
  vars:
    # Пользователь, под учетной записью которого идет установка DataGrid.
    datagrid_user: ignite

    # UID пользователя, под учетной записью которого идет установка DataGrid.
    datagrid_user_uid: 15000

    # Группа пользователя.
    datagrid_group: ignite

    # GID группы.
    datagrid_group_gid: 15000

    # Путь для установки DataGrid.
    datagrid_dir: "/opt/ignite"

Для установки DataGrid перейдите в каталог с ansible-сценарием, запустите ansible-playbook и дождитесь завершения выполнения:

cd /tmp/installer/
ansible-playbook -i ./inventory.yml ./datagrid-install.yml 

Примечание

В случае успешного выполнения в выводе команды в разделе PLAY RECAP напротив каждого хоста появится строчка unreachable=0 failed=0.

Обновление DataGrid#

Для обновления DataGrid:

1. Перейдите в каталог с ansible-сценарием.

2. В файле с описанием конфигурации inventory.yml измените переменную datagrid_local_distr_path на новый архив с DataGrid.

3. Запустите ansible-playbook:

   ansible-playbook -i ./inventory.yml ./datagrid-install.yml

4. Дождитесь завершения обновления.

Обновление конфигурации DataGrid#

Для обновления конфигурации DataGrid:

1. Перейдите в каталог с ansible-сценарием.

2. В файле с описанием конфигурации inventory.yml добавьте или измените переменные.

3. Запустите ansible-playbook: ansible-playbook -i ./inventory.yml ./datagrid-install.yml

4. Дождитесь завершения обновления.

Запуск DataGrid#

Для запуска DataGrid:

1. Перейдите в каталог с ansible-сценарием.

2. Запустите ansible-playbook с тегом datagrid_start_process:

   ansible-playbook -i ./inventory.yml ./datagrid-install.yml -t datagrid_start_process

3. Дождитесь завершения запуска.

Остановка DataGrid#

Для остановки DataGrid:

1. Перейдите в каталог с ansible-сценарием.

2. Запустите ansible-playbook с тегом datagrid_stop_process:

   ansible-playbook -i ./inventory.yml ./datagrid-install.yml -t datagrid_stop_process

3. Дождитесь завершения остановки.

Проверка состояния DataGrid#

Для проверки состояния DataGrid:

1. Перейдите в каталог с ansible-сценарием.

2. Запустите ansible-playbook:

   cd /tmp/installer/
   ansible-playbook -i ./inventory.yml ./datagrid-control.yml -e "datagrid_control_sh_cmd=--baseline"
   

3. Дождитесь завершения проверки.

Активация DataGrid#

Для активации DataGrid:

1. Перейдите в каталог с ansible-сценарием.

2. Запустите ansible-playbook:

   cd /tmp/installer/
   ansible-playbook -i ./inventory.yml ./datagrid-control.yml -e "datagrid_control_sh_cmd='--set-state active --yes '"
   

3. Дождитесь завершения активации.

Примечание

В случае успешного выполнения в выводе команды в разделе PLAY RECAP напротив каждого хоста появится строчка unreachable=0 failed=0.

Деактивация DataGrid#

Для деактивации DataGrid:

1. Перейдите в каталог с ansible-сценарием.

2. Запустите ansible-playbook:

   cd /tmp/installer/
   ansible-playbook -i ./inventory.yml ./datagrid-control.yml -e "datagrid_control_sh_cmd='--set-state inactive --force --yes '"
   

3. Дождитесь завершения деактивации.

Примечание

В случае успешного выполнения в выводе команды в разделе PLAY RECAP напротив каждого хоста появится строчка unreachable=0 failed=0.

Настройка сетевого взаимодействия между серверами#

Для настройки взаимодействия между серверами одного кластера DataGrid используйте переменные datagrid_TcpDiscoverySpi_addresses или datagrid_addresses. Задайте переменные в файле с описанием конфигурации inventory.yml:

# Укажите IP-адреса серверов с портами для org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder.
# Пример 1:
datagrid_TcpDiscoverySpi_addresses:
  - "1.1.1.1:47500..47520"
  - "1.1.1.2:47500..47520"
# Пример 2:  
datagrid_addresses:
 - "1.1.1.1"
 - "1.1.1.2"

Настройка защищенного сетевого взаимодействия между серверами#

Для настройки защищенного сетевого взаимодействия между серверами одного кластера DataGrid используйте переменная datagrid_use_ssl. Задайте переменную в файле с описанием конфигурации inventory.yml:

datagrid_use_ssl: yes

Внимание

При каждом применении DataGrid Ansible Role генерируются самоподписанные сертификаты, создаются java-контейнеры с сертификатами на управляющем сервере и переносятся на каждый сервер кластера DataGrid.

Для использования собственных сертификатов или выключения генерации самоподписанных сертификатов в файле с описанием конфигурации inventory.yml, задайте переменные:

datagrid_local_ssl_truststore: "{{ inventory_dir }}/путь/к/контейнеру"
datagrid_ssl_truststore_password: "change-it"

datagrid_local_ssl_keystore: "{{ inventory_dir }}/путь/к/контейнеру"
datagrid_ssl_keystore_password: "change-it" # Пароль для хранилища с ключами

datagrid_local_client_keystore: "{{ inventory_dir }}/путь/к/контейнеру"
datagrid_ssl_client_keystore_password: "change-it" # Пароль для хранилища с ключами

datagrid_local_admin_keystore: "{{ inventory_dir }}/путь/к/контейнеру"
datagrid_ssl_admin_keystore_password: "change-it" # Пароль для хранилища с ключами

datagrid_local_grantadmin_keystore: "{{ inventory_dir }}/путь/к/контейнеру"
datagrid_ssl_grantadmin_keystore_password: "change-it" # Пароль для хранилища с ключами

Создание новых кешей#

В процессе установки внутри конфигурации можно сформировать новые кеши с необходимыми опциями. Для этого в файле с описанием конфигурации inventory.yml опишите нужный параметр. Например, для получения различных настроек для кеша my_SQLcache опишите параметр datagrid_cacheConfiguration в конфигурационном файле:

datagrid_cacheConfiguration:
     my_SQLcache:
       sqlSchema: "public"
       cacheMode: "PARTITIONED"
       atomicityMode: "TRANSACTIONAL"
       backups: "0"
       statisticsEnabled: "true"
      expiryPolicy:
         expirePolicyFactory: "javax.cache.expiry.CreatedExpiryPolicy"
         duration:
          - "HOURS"
          - "2"
      queryEntities:
        myTable:
          keyType: "java.util.UUID"
          keyFieldName: "ID"
          valueType: "valueType_myTable"
          fields:
            ID: "java.util.UUID"
            column1: "java.lang.Boolean"
            column2: "java.lang.String"
            column3: "java.lang.String"
            column4: "java.lang.String"
          indexes:
            my_SQLcache_myTable_idx:
              fields:
                column2: "true"
              inlineSize: "34"

Также при создании кешей можно привязать имя к определенному региону данных (data region), используя параметр dataRegionName.

Пример конфигурации кеша:

datagrid_cacheConfiguration:
   ExampleCache:
     backups: "1"
     atomicityMode: "ATOMIC"
     dataRegionName: "default" ## Или имя из примера ниже — "for_general_app"
     expiryPolicy:
         expirePolicyFactory: "javax.cache.expiry.TouchedExpiryPolicy"
         duration:
           - "MINUTES"
           - "10"

Конфигурирование региона данных#

Внимание

Добавляйте переменные в файл с описанием конфигурации inventory.yml.

Для конфигурирования региона данных по умолчанию defaultDataRegionConfigurations используйте переменные:

• datagrid_DataRegionConfiguration_name: "default" — изменяет используемое имя для org.apache.ignite.configuration.DataRegionConfiguration;

• datagrid_DataRegionConfiguration_persistenceEnabled: "false" — включает/отключает признак персистентности кластера ISE;

• datagrid_DataRegionConfiguration_maxSize: "#{16L * 1024 * 1024 * 1024}" — определяет размер региона данных; расчет значения по умолчанию смотрите в таблице «Переменные для подготовки конфигурационного файла кластера DataGrid»;

• datagrid_DataRegionConfiguration_metricsEnabled: "true" — включает сбор метрик для org.apache.ignite.configuration.DataRegionConfiguration;

• datagrid_DataRegionConfiguration_metricsRateTimeInterval: "1000" — указывает интервал сбора метрик;

• datagrid_DataRegionConfiguration_checkpointPageBufferSize: "#{18*1024*1024*1024L}" — определяет размер буфера контрольной точки.

Для добавления дополнительных свойств (evictionThreshold или emptyPagesPoolSize) в регионе данных по умолчанию используйте переменную defaultDataRegionConfigurations:

datagrid_defaultdataRegionConfigurations:
    persistenceEnabled: "{{ datagrid_DataRegionConfiguration_persistenceEnabled }}"
    maxSize: "{{ datagrid_DataRegionConfiguration_maxSize }}"
    metricsEnabled: "{{ datagrid_DataRegionConfiguration_metricsEnabled }}"
    metricsRateTimeInterval: "{{ datagrid_DataRegionConfiguration_metricsRateTimeInterval }}"
    evictionThreshold: "0.8"
    emptyPagesPoolSize: "1000"

При добавлении дополнительного региона данных используйте переменную datagrid_dataRegionConfigurations:

datagrid_dataRegionConfigurations:
   for_general_app: ## Название региона данных
     maxSize: "#{2L*1024*1024*1024}"
     pageEvictionMode: "RANDOM_LRU"
       evictionThreshold: "0.8"
     emptyPagesPoolSize: "1000"

Включение NUMA#

Для конфигурирования узла DataGrid c NUMA в параметре datagrid_DataRegionConfiguration_numa_strategy:

1. Установите значение yes:

   datagrid_DataRegionConfiguration_numa: yes.

2. Укажите стратегию org.apache.ignite.mem.InterleavedNumaAllocationStrategy:

   datagrid_DataRegionConfiguration_numa_strategy: "org.apache.ignite.mem.InterleavedNumaAllocationStrategy".

При включении узла DataGrid c NUMA:

1. Добавьте свойство memoryAllocator в конфигурационный файл в раздел dataregion:

   <property name="memoryAllocator">
     <bean class="org.apache.ignite.mem.NumaAllocator">
       <constructor-arg>
           <bean class="{{ datagrid_DataRegionConfiguration_numa_strategy }}"/>
       </constructor-arg>
     </bean>
   </property>
   

2. Добавьте свойство -XX:+UseNUMA в JVM-опции.

3. Перенесите библиотеки ignite-numa-allocator из директории optional в libs.

Подробнее о NUMA читайте в разделе «Многопроцессорные серверы, NUMA» документа «Настройка производительности».

Включение снепшотов#

Снепшоты включены по умолчанию для кластеров с типом persist:

# Значение переменной задано в конфигурации inventory.yml 
datagrid_DataRegionConfiguration_persistenceEnabled = true

Чтобы изменить путь хранения снепшотов, воспользуйтесь переменной datagrid_snapshots_dir:

datagrid_snapshots_dir: "/dir/snapdir", default = "{{ datagrid_instance_home }}/snapshot"

После изменения пути хранения снепшотов и переконфигурирования кластера в конфигурационном файле customIgniteConfiguration.xml изменится свойство SnapshotPath.

Конфигурирование ячеек#

Для группировки серверов в ячейки и их дальнейшего использования в одном кластере DataGrid установите значение true в переменной datagrid_use_cells. В конфигурационном файле inventory.yml для каждого сервера задайте переменную datagrid_cell_number="n".

Пример синтаксиса:

cluster_datagrid:
  vars:
    ansible_connection: ssh
    ansible_user: sshlogin
    ansible_ssh_pass: sshpsw
    ansible_become_pass: sshpsw
    datagrid_use_cells: true
  hosts:
    "10.10.10.10":
      ansible_host: "10.10.10.10"
      datagrid_cell_number: "1"
    "10.10.10.11":
      ansible_host: "10.10.10.11"
      datagrid_cell_number: "1"
    "10.10.10.12":
      ansible_host: "10.10.10.12"
      datagrid_cell_number: "1"
    "10.10.11.10":
      ansible_host: "10.10.11.10"
      datagrid_cell_number: "2"
    "10.10.11.11":
      ansible_host: "10.10.11.11"
      datagrid_cell_number: "2"
    "10.10.11.12":
      ansible_host: "10.10.11.12"
      datagrid_cell_number: "2"

Плагин ignite-check-parameters-plugin#

Условия, при которых включается плагин:

• указано значение yes в параметре datagrid_use_security_plugin (по умолчанию): datagrid_use_security_plugin: yes;

• указан bean с классом com.sbt.ignite.CheckParametersPluginProvider в параметре pluginProviders (для версии IgniteSE 4.2100.2 и выше):

```bash
<property name="pluginProviders">
    <list>
        <bean class="com.sbt.ignite.CheckParametersPluginProvider">        
            <property name="stopNodeOnCheckFailure" value="false"/>
            <property name="nodeAttributesHardCheck" value="true"/>
        </bean>
    </list>
</property>
```

Чтобы включить или выключить плагин, укажите значение yes или false, соответственно, в переменных конфигурации inventory.yml:

# Значения по умолчанию:
datagrid_CheckParametersPluginProvider_stopNodeOnCheckFailure: "false"
datagrid_CheckParametersPluginProvider_nodeAttributesHardCheck: "true"

Отключение модуля ignite-rest-http#

Модуль ignite-rest-http по умолчанию включен.

Для отключения ignite-rest-http установите переменную datagrid_disable_rest_http в конфигурации inventory.yml:

datagrid_disable_rest_http: true

После этого каталог ignite-rest-http будет перенесен из директории libs в libs/optional.

Конфигурирование CDC I2I (ignite-to-ignite)#

При конфигурировании CDC I2I создаются:

• конфигурационный файл configcustomIgniteConfiguration.xml;

• файлы старта (startCDC.sh) и остановки (stopCDC.sh) CDC;

• файл с JVM-опциями config/cdc-jvm.opts.

Для использования CDC-I2I добавьте параметры в файл inventory.yml; создание файла описано в разделе «Предварительная подготовка на управляющем хосте».

Общие параметры CDC I2I#

Укажите общие параметры в отправляющем и в принимающем кластере:

# Укажите перечень кешей для межкластерной репликации.
datagrid_cdc_caches:
  - "NameCache1"
  - "NameCache2"
  - "NameCache3"

# В конфигурацию региона данных добавьте свойство `cdcEnabled: True`.
datagrid_defaultdataRegionConfigurations: "{{ datagrid_defaultdataRegionConfigurations | combine({'cdcEnabled': True}) }}"

Параметры для CDC I2I через толстый клиент#

Настройте кластер, который отправляет данные:

# Настройте отправку данных межкластерной репликации.
datagrid_cdc_deploy_transmitter: yes
# Укажите имя экземпляра CDC.
datagrid_cdc_igniteInstanceName: "cdc_cluster_1"
# Укажите локальный порт для связи с кластером, на который необходимо передать данные.
datagrid_cdc_localPort: "47600"
# Укажите адреса серверов принимающего кластера (передаются в класс TcpDiscoverySpi).
datagrid_cdc_remote:
  - "10.10.10.1:47500..47520"
  - "10.10.10.2:47500..47520"

Настройте кластер, который принимает данные:

# Настройте прием данных межкластерной репликации.
datagrid_cdc_deploy_receiver: yes
# Укажите имя экземпляра CDC.
datagrid_cdc_igniteInstanceName: "cdc_cluster_2"

# Укажите адреса кластера, который принимает данные (передаются в класс TcpDiscoverySpi.
# Обязательно добавьте адрес сервера, с которого передаются данные, и имя порта, которое указано в datagrid_cdc_localPort.
datagrid_TcpDiscoverySpi_addresses:
- "10.10.10.1:47500..47520"
- "10.10.10.2:47500..47520"
- "10.10.10.3:47600..47620"

Дополнительные параметры для CDC I2I через тонкий клиент#

Настройте кластер, который отправляет данные:

# Настройте отправку данных межкластерной репликации.
datagrid_cdc_deploy_transmitter: yes
# Укажите имя экземпляра CDC.
datagrid_cdc_igniteInstanceName: "cdc_cluster_1"
datagrid_cdc_thin_client: yes
# Укажите адреса серверов принимающего кластера.
datagrid_cdc_addresses:
   - "10.10.10.1"
   - "10.10.10.2"
   - "10.10.10.3"
# Имя порта должно совпадать с именем порта у принимающего кластера.
datagrid_cdc_client_port: "10800"

Настройте кластер, который принимает данные:

# Настройте прием данных межкластерной репликации.
datagrid_cdc_deploy_receiver: yes
# Укажите имя экземпляра CDC.
datagrid_cdc_igniteInstanceName: "cdc_cluster_2"
# Укажите доступ для тонких клиентов.
datagrid_ClientConnectorConfiguration_thinClientEnabled: yes
# Имя порта принимающего кластера должно совпадать с именем порта у передающего кластера.
datagrid_ClientConnectorConfiguration_port: "10800"

Дополнительные параметры для работы по SSL#

Настройте кластер, который отправляет данные:

# Включите CDC с SSL (значение по умолчанию зависит от переменной datagrid_use_ssl).
datagrid_cdc_client_use_ssl: "yes"
# Укажите имя кластера, на который необходиом передать данные.
datagrid_cdc_client_cluster_name: "cluster_2"
# Укажите тип кластера, на который необходимо передать данные,
datagrid_cdc_client_cluster_type: "DEV"
# Укажите логин клиента с кластера, на который необходимо передать данные.
datagrid_cdc_client_login: "datagrid_client"
# Укажите пароль клиента с кластера, на который необходимо передать данные.
datagrid_cdc_client_pass: "qwe123"
# Укажите путь к контейнеру с ключом клиента.
datagrid_cdc_client_local_keystore: "{{ inventory_dir }}/путь/к/контейнеру"
# Укажите пароль контейнера с ключом клиента.
datagrid_cdc_client_ssl_keystore_password: "qwe123"
# Укажите путь к контейнеру с доверенными сертификатами УЦ.
datagrid_cdc_client_local_truststore: "{{ inventory_dir }}/путь/к/контейнеру"
# Укажите пароль к контейнеру с доверенными сертификатами УЦ.
datagrid_cdc_client_ssl_truststore_password: "qwe123"

Настройте кластер, который принимает данные:

# Проверьте работу кластера по SSL — для этого установите значение yes.
datagrid_use_ssl: yes
# Имя и тип должны совпадать с настройками, указанными на первом кластере в параметрах CDC.
# Укажите имя кластера DataGrid.
datagrid_cluster_name: "cluster_2"
# Укажите тип кластера Ignite (DEV, IFT, NT, PSI, PROM, PROD).
datagrid_cluster_type: "DEV"

Конфигурирование CDC K2I (kafka-to-ignite)#

При конфигурировании CDC K2I создаются:

• конфигурационный файл configCustomIgniteConfiguration.xml для DataGrid;

• конфигурационный файл config/cdc-kafka.properties для подключения к Kafka;

• файлы старта (startCDC.sh) и остановки (stopCDC.sh) CDC на кластере, отправляющем данные;

• файл с JVM-опциями config/cdc-jvm.opts.

Для использования CDC-K2I добавьте параметры в файл inventory.yml; создание файла описано в разделе «Предварительная подготовка на управляющем хосте».

Общие параметры CDC K2I#

Предварительно создайте topics в Kafka:

• from_cluster_1 — для передачи данных;

• metaData_from_cluster_1 — для передачи метаданных.

Укажите общие параметры в отправляющем и в принимающем кластере:

# Укажите перечень кешей для межкластерной репликации.
datagrid_cdc_caches:
  - "NameCache1"
  - "NameCache2"
  - "NameCache3"

# В конфигурацию региона данных добавьте свойство `cdcEnabled: True`.
datagrid_defaultdataRegionConfigurations: "{{ datagrid_defaultdataRegionConfigurations | combine({'cdcEnabled': True}) }}"

Параметры для CDC K2I через толстый клиент#

Настройте кластер, отправляющий данные:

# Настройте отправку данных межкластерной репликации.
datagrid_cdc_deploy_transmitter: yes
# Включите отправку данных через Kafka.
datagrid_cdc_use_kafka: yes
# Настройке время ожидания подключения к кластеру DataGrid.
datagrid_cdc_joinTimeout: "10000"
# Укажите JMX порт для CDC
datagrid_cdc_jmx_port: 1095
# Укажите имя топика для передачи данных межкластерной репликации.
datagrid_cdc_cdcStreamer_kafkaTopic: "from_cluster_1"
# Укажите количество частей для Kafka.
datagrid_cdc_cdcStreamer_kafkaParts: 10
# Укажите адрес и порт для подключения к Kafka.
datagrid_cdc_kafka_properties_bootstrap_servers: 
  - "10.10.10.10:9093"

Настройте кластер, который принимает данные:

# Настройте прием данных межкластерной репликации.
datagrid_cdc_deploy_receiver: yes
# Укажите адреса серверов Kafka для получения данных межкластерной репликации.
datagrid_cdc_kafka_properties_bootstrap_servers:
  - "10.10.10.10:9093"

# Укажите адрес серверов кластера DataGrid для получения данных межкластерной репликации.
datagrid_cdc_k2i_clients:
  "10.40.5.18":
    from: 0
    to: 10
    threadCount: 2
# Укажите JMX порт для подключения через jconsole.
datagrid_cdc_k2i_jmx_port: 1096
# Укажите имя топика для приема данных межкластерной репликации.
datagrid_cdc_k2iStreamer_kafkaTopic: "from_cluster_1"

Дополнительные параметры для работы CDC K2I через тонкий клиент#

Настройте кластер, который принимает данные:

# Настройке конфигурирование передачи данных через тонкий клиент.
datagrid_cdc_thin_client: yes
# Укажите адреса серверов принимающего кластера.
datagrid_cdc_addresses:
   - "10.10.10.1"
   - "10.10.10.2"
   - "10.10.10.3"
# Укажите орт подключения тонкого клиента.
datagrid_cdc_client_port: "10800"

Дополнительные параметры для работы с Kafka по SSL#

Настройте отправляющий и принимающий кластеры:

# Укажите подключение к Kafka по SSL.
datagrid_cdc_kafka_use_ssl: yes
# Укажите путь к контейнеру с ключом.
datagrid_cdc_kafka_local_keystore: "{{ inventory_dir }}/путь/к/контейнеру"
# Укажите путь к контейнеру с доверенными сертификатами УЦ.
datagrid_cdc_kafka_local_truststore: "{{ inventory_dir }}/путь/к/контейнеру"

# Укажите пароль для контейнера с ключом клиента.
datagrid_cdc_kafka_ssl_keystore_password: "qwe123"
# Укажите пароль для контейнера с доверенными сертификатами.
datagrid_cdc_kafka_ssl_truststore_password: "qwe123"

Дополнительные параметры для работы с DataGrid по SSL#

Настройте кластер, который принимает данные:

# Укажите логин клиента DataGrid принимающего кластера.
datagrid_cdc_client_login: "ise_client"
# Укажите пароль клиента DataGrid принимающего кластера.
datagrid_cdc_client_pass: "ise_client_password"
# Укажите путь к контейнеру с ключом клиента.
datagrid_cdc_client_local_keystore:   "{{ inventory_dir }}/путь/к/контейнеру"
# Укажите пароль для контейнера с ключом клиента.
datagrid_cdc_client_ssl_key_pass:     "{{ datagrid_ssl_client_keystore_password }}"
# Укажите путь к контейнеру с доверенными сертификатами УЦ.
datagrid_cdc_client_local_truststore: "{{ inventory_dir }}/путь/к/контейнеру"
# Укажите пароль для контейнера с доверенными сертификатами.
datagrid_cdc_client_ssl_trust_pass:   "{{ datagrid_ssl_truststore_password }}"

Генерация сертификатов#

Генерация самоподписанных сертификатов происходит при соблюдении условий:

• на кластере включен SSL (по умолчанию выключен):

  datagrid_use_ssl: yes

• не заполнены переменные:

  datagrid_local_ssl_keystore: ""
  datagrid_local_ssl_truststore: ""
  datagrid_local_admin_keystore: ""
  datagrid_local_client_keystore: ""
  datagrid_local_grantadmin_keystore: ""
  

• заполнена переменная datagrid_keystore_password_for_everyone (на все создаваемые контейнеры устанавливается один пароль); значение по умолчанию:

  datagrid_keystore_password_for_everyone: "Ignite@1"

• пароль указан в зашифрованном виде, например:

  datagrid_keystore_password_for_everyone: !vault |
    $ANSIBLE_VAULT;1.1;AES256
  39623536313061356636336366626331393633313432343333333737656439303030323131663631
  3233623563383930646433643135366466393433633734370a653539306339663438666166303635
  34633162306635373764346461303832313731393665656539346664643033663963646234323130
  6233616233303336660a653738623035306261386235363064666665306362383964633639363463
  3233
  

Для отключения генерации сертификатов в inventory переопределите и заполните одну из переменных:

datagrid_local_ssl_keystore: "{{ inventory_dir }}/../files/meim_kb/psi/psi-meim_kb-gg_server-keystore.jks"
datagrid_local_ssl_truststore: "{{ inventory_dir }}/../files/meim_kb/psi/psi-truststore.jks"

Чтобы выполнить задание на генерацию сертификатов, проверьте, что:

• переменные пустые:

  datagrid_local_ssl_keystore: ""
  datagrid_local_ssl_truststore: ""
  datagrid_local_admin_keystore: ""
  datagrid_local_client_keystore: ""
  datagrid_local_grantadmin_keystore: ""
  

• включен SSL:

  datagrid_use_ssl: yes

• заполнен пароль:

  datagrid_keystore_password_for_everyone: "Ignite@1

Если условия выполнены, на управляющем сервере создается скрипт из шаблона templates/genCert.sh.j2. Запустите скрипт и передайте параметры:

sh {{ datagrid_local_tmp_path }}/genCert.sh --keyPassword={{ datagrid_keystore_password_for_everyone }} --userIgniteSrv={{ datagrid_userIgniteSrv }} --userIgniteClient={{ datagrid_userIgniteClient }} --userIgniteAdmin={{ datagrid_userIgniteAdmin }} --userIgniteGrantAdmin={{ datagrid_userIgniteGrantAdmin }} --pathWork={{ datagrid_local_tmp_path }} --clusterType={{ datagrid_cluster_type }} --clusterName={{ datagrid_cluster_name }} --csr --pfx

После этого получите keystore и проверьте его наличие на управляющем сервере. Заполните переменные:

datagrid_local_ssl_keystore: "{{ datagrid_userIgniteSrv_path }}"
datagrid_local_ssl_truststore: "{{ datagrid_truststore_path }}"
datagrid_local_admin_keystore: "{{ datagrid_userIgniteAdmin_path }}"
datagrid_local_client_keystore: "{{ datagrid_userIgniteClient_path }}"
datagrid_local_grantadmin_keystore: "{{ datagrid_userIgniteGrantAdmin_path }}"

Схема процесса генерации сертификатов:

Удаление DataGrid#

После удаления DataGrid, помимо данных, будут также удалены log-файлы, библиотеки, исполняемые файлы.

Для удаления DataGrid:

1. Используйте созданный при установке inventory.ini.

2. Создайте файл unistall-datagrid.yml:

   cat <<'EOF' > /home/installer/unistall-datagrid.yml
   ---
   - hosts: 'datagrid'
     tasks:
   - name: "Install DataGrid"
     include_role:
       name: datagrid
       tasks_from: "clean_server.yml"   
   EOF
   

3. Перейдите в каталог со сценарием ansible: cd/home/installer/.

4. Выполните ansible-playbook -i ./inventories/DEV/inventory.ini ./unistall-datagrid.yml -t clean.

5. Дождитесь завершения выполнения. В случае успешного выполнения в stdout в разделе PLAY RECAP напротив каждого хоста будет виден статус unreachable=0 failed=0.

Справочник переменных DataGrid Ansible Role#

Основные переменные#

Переменные для определения путей, с которыми работает DataGrid#

Значение по умолчанию в переменной datagrid_dirs:

[ 
  {{ datagrid_instance_home }}, {{ datagrid_bin_dir }}, {{ datagrid_bin_dir }}, {{ datagrid_wal_dir }}, 
  {{ datagrid_conf_dir }}, {{ datagrid_work_dir }}, {{ datagrid_diag_dir }}, {{ datagrid_data_dir }},
  {{ datagrid_temp_dir }}, {{ datagrid_temp_dir }}, {{ datagrid_libs_dir }}, {{ datagrid_gclog_dir }},
  {{ datagrid_backup_dir }}, {{ datagrid_secrets_dir }}, {{ datagrid_snapshots_dir }}, {{ datagrid_user_libs_dir }},
  {{ datagrid_wal_archive_dir }}
]

Значение по умолчанию в переменной datagrid_rm_before_update_dirs:

[
  {{ datagrid_bin_dir }},{{ datagrid_diag_dir }},
  {{ datagrid_temp_dir }},{{ datagrid_libs_dir }},{{ datagrid_user_libs_dir }}
] 

Значение по умолчанию в переменной datagrid_conf_templates:

[
  "jvm.opts","ignite-log4j.xml","java.util.logging.properties","environment","{{ datagrid_logrotate_config_file }}"
]

Переменные для управления запуском DataGrid#

Значение по умолчанию в переменной datagrid_jvm_xmx_gb:

"{% if (ansible_memtotal_mb - datagrid_exclude_memory_gb|int*1024) < 9000 %}1{% elif (ansible_memtotal_mb - datagrid_exclude_memory_gb|int*1024) < 20480 %}3{% elif (ansible_memtotal_mb - datagrid_exclude_memory_gb|int*1024) < 51200 %}8{% else %}15{% endif %}"

Дополнительные переменные#

Переменные для управления JMX#

Переменные для управления профилированием JFR#

Значение по умолчанию в переменной datagrid_jfr_profiling_openjdk_templates:

"{% if java_ver_openjdk_version|string == '17' %}{{ datagrid_jfr_profiling_openjdk17_templates }}{% elif java_ver_openjdk_version|string == '11' %}{{ datagrid_jfr_profiling_openjdk11_templates }}{% else %}{{datagrid_jfr_profiling_openjdk1_8_templates }}{% endif %}"

Переменные для управления логированием#

Переменные для подготовки конфигурационного файла кластера DataGrid#

Значение по умолчанию в переменной datagrid_http_metrics_exporter_groups:

[
   {"class": "RegExpGroup", "properties": {"context": "/all", "regExp": ".*"}},
   {"class": "RegExpGroup", "properties": {"context": "/threadPools", "regExp": "threadPools\..*"}},
   {"class": "NamesListGroup", "properties": {"context": "/pme", "names": "pme"}},
   {"class": "NamesListGroup", "properties": {"context": "/sql", "names": "sql"}},
   {"class": "NamesListGroup", "properties": {"context": "/cluster", "names": "cluster"}},
   {"class": "RegExpGroup", "properties": {"context": "/io", "regExp": "io\..*"}},
   {"class": "NamesListGroup", "properties": {"context": "/cacheGroups", "names": "cacheGroups"}},
   {"class": "RegExpGroup", "properties": {"context": "/cache", "regExp": "cache\..*"}},
   {"class": "NamesListGroup", "properties": {"context": "/ignite", "names": "ignite"}},
   {"class": "NamesListGroup", "properties": {"context": "/sys", "names": "sys"}},
   {"class": "NamesListGroup", "properties": {"context": "/communication", "names": "communication"}},
   {"class": "NamesListGroup", "properties": {"context": "/tx", "names": "tx"}}
]

Значение по умолчанию в переменной datagrid_use_cipherSuitesEnc_list:

[
  "TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256",
  "TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384",
  "TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256",
  "TLS_DHE_RSA_WITH_AES_128_GCM_SHA256",
  "TLS_DHE_RSA_WITH_AES_256_GCM_SHA384",
  "TLS_RSA_WITH_AES_256_GCM_SHA384",
  "TLS_RSA_WITH_AES_128_GCM_SHA256"
]

Значение по умолчанию в переменной datagrid_DataRegionConfiguration_maxSize:

"{{ '#{' }}{{ (((((ansible_memtotal_mb - datagrid_exclude_memory_gb|int*1024) - (datagrid_jvm_xmx_gb|int*1024)-1024)*0.8)/1024)|int) }}{{ 'L * 1024 * 1024 * 1024}' }}"

Значение по умолчанию в переменной datagrid_defaultdataRegionConfigurations:

{
  persistenceEnabled: "{{ datagrid_DataRegionConfiguration_persistenceEnabled }}"
  maxSize: "{{ datagrid_DataRegionConfiguration_maxSize }}"
  metricsEnabled: "{{ datagrid_DataRegionConfiguration_metricsEnabled }}"
  metricsRateTimeInterval: "{{ datagrid_DataRegionConfiguration_metricsRateTimeInterval }}"
}

Переменные для определения JVM-опций#

Значение по умолчанию в переменной datagrid_jvm_jmx_opts:

[
  "-Dcom.sun.management.jmxremote",
  "-Dcom.sun.management.jmxremote.port={{ datagrid_jmx_port }}",
  "-Dcom.sun.management.jmxremote.authenticate={{ datagrid_jmx_auth }}",
  "-Dcom.sun.management.jmxremote.ssl={{ datagrid_jmx_ssl }}",
  "-Dcom.sun.management.config.file={{ datagrid_jmx_properties }}"
]

Значение по умолчанию в переменной datagrid_xmx_jvm_opts:

[
  "-Xmx{{ datagrid_jvm_xmx_gb }}g",
  "-Xms{{ datagrid_jvm_xms_gb }}g"
]

Значение по умолчанию в переменной datagrid_cluster_jvm_opts:

[
  "-DIGNITE_CLUSTER_NAME={{ datagrid_cluster_name }}",
  "-DIGNITE_CLUSTER_TYPE={{ datagrid_cluster_type }}",
  "-DIGNITE_QUIET=false"
]

Значение по умолчанию в переменной datagrid_cluster_jvm_opts:

[
  "-ea","-server","-XX:+ScavengeBeforeFullGC","-XX:+AlwaysPreTouch","-XX:+UnlockDiagnosticVMOptions",
  "-Djava.net.preferIPv4Stack=true","-Dnetworkaddress.cache.ttl=-1","-DIGNITE.DEPLOYMENT.ADDITIONAL.CHECK=true",
  "-DIGNITE_EXCHANGE_HISTORY_SIZE=100","-DIGNITE_TO_STRING_INCLUDE_SENSITIVE={{ datagrid_jvm_option_include_sensitive|default('false') }}",
  "-XX:+ExitOnOutOfMemoryError","-XX:+HeapDumpOnOutOfMemoryError","-XX:ErrorFile={{ datagrid_jvm_error_file_path }}",
  "-XX:HeapDumpPath={{ datagrid_diag_dir }}","-Djava.io.tmpdir={{ datagrid_temp_dir }}","-DIGNITE_MBEAN_APPEND_CLASS_LOADER_ID=false"
  "-Dfile.encoding=UTF-8","-XX:+PerfDisableSharedMem","-XX:+UnlockExperimentalVMOptions","-XX:-OmitStackTraceInFastThrow",
  "-XX:+LogVMOutput","-DIGNITE_REUSE_MEMORY_ON_DEACTIVATE=true","-DIGNITE_DISCOVERY_DISABLE_CACHE_METRICS_UPDATE=true",
  "-DIGNITE_AFFINITY_HISTORY_SIZE=50","-DIGNITE_USE_ASYNC_FILE_IO_FACTORY=true","-DIGNITE_ENABLE_EXTRA_INDEX_REBUILD_LOGGING=true",
  "-DIGNITE_DUMP_THREADS_ON_FAILURE=false","-DIGNITE_ENABLE_FORCIBLE_NODE_KILL=true","-DIGNITE_DIAGNOSTIC_ENABLED=false",
  "-DIGNITE_UPDATE_NOTIFIER=false","-XX:-UseBiasedLocking"
]

Значение по умолчанию в переменной datagrid_jvm_jfr_oracle_opts:

[
  "-XX:+UnlockCommercialFeatures",
  "-XX:+FlightRecorder",
  "-XX:FlightRecorderOptions=defaultrecording={{ datagrid_jfr_enable | bool | string | lower }},disk={{ datagrid_jfr_disk }},settings={{ datagrid_jfr_profiling_path }},repository={{ datagrid_diag_dir }},maxage={{ datagrid_jfr_maxage }},maxsize={{ datagrid_jfr_maxsize }},maxchunksize={{ datagrid_jfr_maxchunksize }},dumponexit={{ datagrid_jfr_dumponexit }},dumponexitpath={{ datagrid_diag_dir }}"
]

Значение по умолчанию в переменной datagrid_jvm_jfr_openjdk11_opts:

[
  "-XX:StartFlightRecording=disk={{ datagrid_jfr_disk }},settings={{ datagrid_jfr_profiling_path }},maxage={{ datagrid_jfr_maxage }},maxsize={{ datagrid_jfr_maxsize }},dumponexit={{ datagrid_jfr_dumponexit }},{% if datagrid_jfr_dumponexit == 'True' %}filename={{ datagrid_diag_dir }}/dumpjfr.jfr{% endif %}",
  "-XX:FlightRecorderOptions=repository={{ datagrid_diag_dir }},maxchunksize={{ datagrid_jfr_maxchunksize }}"
]

Значение по умолчанию в переменной datagrid_jvm_jfr_openjdk1_8_opts:

[
  "-XX:StartFlightRecording=disk={{ datagrid_jfr_disk }},settings={{ datagrid_jfr_profiling_path }},maxage={{ datagrid_jfr_maxage }},maxsize={{ datagrid_jfr_maxsize }},dumponexit={{ datagrid_jfr_dumponexit }},{% if datagrid_jfr_dumponexit == 'True' %}filename={{ datagrid_diag_dir }}/dumpjfr.jfr{% endif %}",
  "-XX:FlightRecorderOptions=repository={{ datagrid_diag_dir }},maxchunksize={{ datagrid_jfr_maxchunksize }}"
]

Значение по умолчанию в переменной datagrid_jvm_jmx_opts:

"{% if java_ver_openjdk_version|string == '17' %}{{datagrid_jvm_jfr_openjdk17_opts}}{% elif java_ver_openjdk_version|string == '11' %}{{datagrid_jvm_jfr_openjdk11_opts}}{% else %}{{datagrid_jvm_jfr_openjdk1_8_opts}}{% endif %}"

Значение по умолчанию в переменной datagrid_jvm_jmx_opts:

[
  "-XX:+UseG1GC","-XX:+AggressiveOpts","-XX:+PrintGCApplicationConcurrentTime",
  "-XX:+PrintClassHistogramBeforeFullGC","-XX:+PrintClassHistogramAfterFullGC",
  "-XX:+PrintGC","-XX:+PrintGCDetails","-XX:+PrintGCDateStamps","-XX:+PrintGCTimeStamps",
  "-XX:+PrintGCApplicationStoppedTime","-XX:+UseGCLogFileRotation","-XX:+PrintTenuringDistribution",
  "-XX:+TraceMetadataHumongousAllocation","-Xloggc:{{ datagrid_jvm_gc_log_file_path }}",
  "-XX:NumberOfGCLogFiles=50","-XX:GCLogFileSize=50M","-XX:G1LogLevel=finest",
  "-XX:+G1TraceEagerReclaimHumongousObjects","-XX:+PrintSafepointStatistics",
  "-XX:PrintSafepointStatisticsCount=1","-XX:LogFile={{ datagrid_jvm_safepoint_log }}"
]

Значение по умолчанию в переменной datagrid_gc_jvm_openjdk17_opts:

[
"-Xlog:gc*=debug:file={{ datagrid_jvm_gc_log_file_path }}:time,uptime,tags:filecount=50,filesize=50M",
"-Xlog:safepoint=debug:file={{ datagrid_jvm_safepoint_log }}:time,uptime,tags:filecount=50,filesize=50M"
]

Значение по умолчанию в переменной datagrid_gc_jvm_openjdk11_opts:

[
  "-Xlog:gc*=debug:file={{ datagrid_jvm_gc_log_file_path }}:time,uptime,tags:filecount=50,filesize=50M",
  "-Xlog:safepoint=debug:file={{ datagrid_jvm_safepoint_log }}:time,uptime,tags:filecount=50,filesize=50M"
]

Значение по умолчанию в переменной datagrid_gc_jvm_openjdk_opts:

"{% if java_ver_openjdk_version|string == '17' %}{{ datagrid_gc_jvm_openjdk17_opts }}{% elif java_ver_openjdk_version|string == '11' %}{{ datagrid_gc_jvm_openjdk11_opts }}{% else %}{{ datagrid_gc_jvm_openjdk1_8_opts }}{% endif %}"

Значение по умолчанию в переменной datagrid_jvm_openjdk_opts:

"{% if java_ver_openjdk_version|string == '17' %}{{ datagrid_jvm_openjdk17_opts }}{% elif java_ver_openjdk_version|string == '11' %}{{ datagrid_jvm_openjdk17_opts }}{% else %}{{ datagrid_jvm_openjdk1_8_opts }}{% endif %}"

Значение по умолчанию в переменной datagrid_java_options:

"{{ datagrid_xmx_jvm_opts + datagrid_cluster_jvm_opts + datagrid_common_jvm_opts + datagrid_jvm_jmx_opts + datagrid_gc_opts + datagrid_java_security + datagrid_jvm_openjdk + datagrid_Log4J2_jvm }}"

Значение по умолчанию в переменной datagrid_configurator_jvm_options:

[
  "-Dgroup.id={{ datagrid_configurator_group_id }}{{ '_client' if datagrid_is_client else '' }}",
  "-Dnode.id={{ datagrid_configurator_host_id }}",
  "-Dmodule.id={{ datagrid_audit_moduleId }}",
  "-Dconfig-store.disabled={{ 'false' if not (datagrid_use_configurator_property_from_file|bool) else 'true' }}",
  "-Dplatform-config=file:{{ datagrid_platform_config_path }}"
]

Переменные безопасности для работы по SSL#

Переменные для настройки проверки ОС#

Переменные для управления скриптом проверки ОС#

Переменные для определения пороговых значений и настройки скрипта тестирования#