Руководство по установке#

В руководстве приведены инструкции по установке компонента Поисковый движок (SRHX) продукта Platform V Search (SRH).

Расшифровку основных понятий смотрите в перечне Термины и определения.

Системные требования#

Настройки безопасности окружения и перечень платформенных (дополнительных внешних) продуктов, используемых для установки, настройки и контроля в конечной информационной системе (далее — ИС), выбираются при разработке конечной ИС, исходя из характера обрабатываемой в ней информации и иных требований информационной безопасности (далее — ИБ), предъявляемых к ней.

Системное программное обеспечение#

Ниже представлены категории системного программного обеспечения (далее — ПО), которые обязательны или опциональны для установки, настройки, контроля и функционирования компонента SRHX. В каждой категории перечислены все поддерживаемые продукты сторонних правообладателей. Отдельно обозначены варианты, которые рекомендует АО «СберТех» (маркировка «Рекомендовано» в столбце «Продукт, функциональная совместимость с которым подтверждена»). Клиенту необходимо выбрать один из продуктов в каждой категории, исходя из условий использования конечной ИС.

Примечание

*

• Да — категория ПО обязательна для функционирования сервиса (это означает, что сервис не может выполнять свои базовые функции без установки данной категории ПО).

• Нет — категория ПО необязательна для функционирования сервиса (это означает, что сервис может выполнять свои базовые функции без установки данной категории ПО).

**

• Рекомендовано — рекомендованный правообладателем АО «СберТех» продукт.

• Опционально — альтернативный по отношению к рекомендованному правообладателем АО «СберТех» продукт.

Платформенные зависимости#

Для настройки, контроля и функционирования компонента реализована интеграция с программными продуктами, правообладателем которых является АО «СберТех»:

Примечание

***

• Да — компонент или продукт необходим для функционирования сервиса (это означает, что сервис не может выполнять свои основные функции без установки данного компонента).

• Нет — необязательный для функционирования сервиса компонент или продукт (это означает, что сервис может выполнять свои основные функции без установки данного компонента).

**** Рекомендуется установка программного продукта, правообладателем которого является АО «СберТех», при этом не исключена возможность (допускается правообладателем) использования аналога других производителей. Аналоги, в отношении которых продукт успешно прошел испытания и подтвердил свою работоспособность, указаны в разделе «Системное программное обеспечение».

Аппаратные требования#

Расчет потребности в физическом оборудовании происходит на основе коэффициентов переподписки (отношение требуемого количества виртуального ресурса к реальному количеству физического ресурса), применяемых к требованиям по виртуальным ресурсам для каждого из стендов.

Для установки компонента требуется следующая конфигурация аппаратного обеспечения. Характеристики (CPU, RAM, диски) указаны на один элемент развертывания:

В таблице выше представлены требования к минимальной конфигурации. Возможно как горизонтальное, так и вертикальное масштабирование для увеличения производительности.

При горизонтальном масштабировании продукта для подтверждения соответствия ожидаемым нефункциональным характеристикам, рекомендуется предварительно провести нагрузочное тестирование на целевой конфигурации конкретной инсталляции.

Требования к окружению для установки программного компонента#

Компонент SRHX не выдвигает требований к настройкам безопасности окружения.

Подготовка окружения#

Создание пользователей на сервере#

1. Создайте пользователей:

   • opensearch – для сервера opensearch;

   • opensearch-dashboards – для сервера opensearch-dashboards в том случае, если он будет устанавливаться на данном сервере.

2. Добавьте созданных пользователей в необходимые группы.

   Ниже представлен пример, когда пользователи созданы с таким же паролем, как и их имя. Возможно изменить значения после passwd -1 на необходимые:

   sudo useradd -p $(openssl passwd -1 opensearch) opensearch
   sudo useradd -p $(openssl passwd -1 opensearch-dashboards) opensearch-dashboards
   sudo usermod -aG opensearch-dashboards opensearch
   sudo usermod -aG opensearch opensearch-dashboards
   

Добавление переменных для работы компонента SRHX#

1. Пропишите системные переменные в файл .bashrc. Переменные пользователей, под которыми будет выполнен запуск компонента SRHX:

   • OPENSEARCH_JAVA_HOME;

   • OPENSEARCH_PATH_CONF;

   • OSD_PATH_CONF.

2. Примените обновленный файл командой source.

   Ниже описан алгоритм для пользователей opensearch и opensearch-dashboards:

   sudo sh -c "echo -e 'export OPENSEARCH_JAVA_HOME=/usr/share/opensearch/jdk\nexport OPENSEARCH_PATH_CONF=/etc/opensearch\nexport OSD_PATH_CONF=/etc/opensearch-dashboards' >> /home/opensearch/.bashrc && source /home/opensearch/.bashrc"
   sudo sh -c "echo -e 'export OPENSEARCH_JAVA_HOME=/usr/share/opensearch/jdk\nexport OPENSEARCH_PATH_CONF=/etc/opensearch\nexport OSD_PATH_CONF=/etc/opensearch-dashboards' >> /home/opensearch-dashboards/.bashrc && source /home/opensearch-dashboards/.bashrc"
   

   • OPENSEARCH_JAVA_HOME – путь к JAVA, который будет использовать компонент SRHX. При использовании JAVA вместе с дистрибутивом, заранее укажите путь, где будет находиться Java, после распаковки дистрибутива.

   • OPENSEARCH_PATH_CONF и OSD_PATH_CONF – пути до каталога с конфигурационными файлами для сервера opensearch-dashboards.

Изменение параметров компонента SRHX#

1. Установите значение системных параметров vm.max_map_count = 262144 и vm.swappiness=0 в файле /etc/sysctl.conf.

2. Примените обновленные значения командой sysctl -p.

3. Отключите использование swap:

   sudo swapoff -a
   sudo sh -c "echo -e 'vm.swappiness=0\nvm.max_map_count=262144' >> /etc/sysctl.conf && sysctl -p"
   

   Внимание!

   Обязательно проверьте значения в данном файле. Если они уже присутствуют, то их необходимо изменить вручную. После применения команды, указанной выше, произойдет дублирование параметров, если они уже существуют. Команда swapoff -a работает только до перезагрузки.

4. Проверьте текущее значение или примененные изменения командой:

   cat /proc/sys/vm/max_map_count
   

Изменение лимитов пользователей#

Повысьте лимиты для пользователей, которые будут выполнять запуск компонента SRHX. Это позволит в дальнейшем запускать программы вручную и не получать ошибки от компонента SRHX.

1. Создайте файлы /etc/security/limits.d/opensearch.conf и /etc/security/limits.d/opensearch-dashboards.conf и внесите в них данные, используя следующие команды:

   #для создания файлов /etc/security/limits.d/opensearch.conf , /etc/security/limits.d/opensearch-dashboards.conf и установки лимитов SRHX
   sudo sh -c "echo -e 'opensearch      -       nproc   65535\nopensearch      -       nofile  500000\nopensearch      -       memlock unlimited' >> /etc/security/limits.d/opensearch.conf"
   sudo sh -c "echo -e 'opensearch-dashboards   -       nproc   8096\nopensearch-dashboards   -       nofile  8096' >> /etc/security/limits.d/opensearch-dashboards.conf"
   

   После исполнения команд файлы должны иметь вид:

   #для /etc/security/limits.d/opensearch.conf
   opensearch - nofile 500000
   opensearch - nproc 65535
   opensearch - memlock unlimited
   
   
   #для /etc/security/limits.d/opensearch-dashboards.conf
   opensearch-dashboards - nofile 8096
   opensearch-dashboards - nproc 8096
   

2. Проверьте, что параметр для пользователя задан верно и его значение равно установленному в предыдущем пункте. Проверка возможна только под пользователем, для которого применяли значение:

   sudo su opensearch -c 'ulimit -u -n -l'
   sudo su opensearch-dashboards -c 'ulimit -u -n'
   

3. Посмотрите полный список лимитов:

   sudo su opensearch -c 'ulimit -a'
   sudo su opensearch-dashboards -c 'ulimit -a'
   

Создание необходимых директорий#

Создайте необходимые директории для распаковки дистрибутива:

sudo mkdir /usr/share/opensearch \
sudo mkdir -p /etc/opensearch/secman/certs \
sudo mkdir /etc/opensearch/usertoken \
sudo mkdir /var/log/opensearch \
sudo mkdir /var/lib/opensearch
 
#если на данную виртуальную машину устанавливается opensearch-dashboards
sudo mkdir /usr/share/opensearch-dashboards \
sudo mkdir -p /etc/opensearch-dashboards/secman/certs \
sudo mkdir /etc/opensearch-dashboards/usertoken \
sudo mkdir /var/log/opensearch-dashboards

Подробное описание директорий

Создайте пустые файлы для переменных компонента SRHX, которые он считывает при запуске. Ссылаться на эти файлы нужно в Unit service:

sudo touch /etc/sysconfig/opensearch
 
#если на данную виртуальную машину устанавливается opensearch-dashboards
sudo touch /etc/sysconfig/opensearch-dashboards

Повышение привилегий пользователя#

Выдайте права пользователю opensearch на управление unit-сервисом, который будет создан далее.

Примечание

Это может понадобиться только для удобства работы под пользователем opensearch.

sudo nano /etc/sudoers.d/opensearch

Добавьте:

opensearch ALL=(ALL) NOPASSWD: /bin/systemctl start opensearch.service, /bin/systemctl start opensearch
opensearch ALL=(ALL) NOPASSWD: /bin/systemctl restart opensearch.service, /bin/systemctl restart opensearch
opensearch ALL=(ALL) NOPASSWD: /bin/systemctl stop opensearch.service, /bin/systemctl stop opensearch
opensearch ALL=(ALL) NOPASSWD: /bin/systemctl enable opensearch.service, /bin/systemctl enable opensearch
opensearch ALL=(ALL) NOPASSWD: /bin/systemctl disable opensearch.service, /bin/systemctl disable opensearch
opensearch ALL=(ALL) NOPASSWD: /bin/systemctl start opensearch-dashboards.service, /bin/systemctl start opensearch-dashboards
opensearch ALL=(ALL) NOPASSWD: /bin/systemctl restart opensearch-dashboards.service, /bin/systemctl restart opensearch-dashboards
opensearch ALL=(ALL) NOPASSWD: /bin/systemctl stop opensearch-dashboards.service, /bin/systemctl stop opensearch-dashboards
opensearch ALL=(ALL) NOPASSWD: /bin/systemctl enable opensearch-dashboards.service, /bin/systemctl enable opensearch-dashboards
opensearch ALL=(ALL) NOPASSWD: /bin/systemctl disable opensearch-dashboards.service, /bin/systemctl disable opensearch-dashboards
opensearch ALL=(ALL) NOPASSWD: /bin/systemctl daemon-reload

Установка java#

Установите последнюю доступную в репозитории Java 17. Удалите директорию /usr/share/opensearch/jdk, если существует. Выполните symlink из /etc/alternatives/jre в /usr/share/opensearch/jdk.

ln -s /etc/alternatives/jre /usr/share/opensearch/jdk

При установке компонента SRHX из дистрибутива будут установлены следующие java-permissions, которые необходимы для работы компонента:

Данные java-permissions используются только для компонента SRHX и не меняют безопасность Java.

Необходимый софт на сервере#

Внимание!

Установить:

• node.js – требуется для работы и запуска dashboards;

• unzip (если не установлен по умолчанию в системе);

• nano (или любой другой редактор текста).

Установка#

Ручная установка сервиса#

Перед началом установки убедитесь, что выполнена подготовка окружения.

Распаковка дистрибутива#

Внимание!

Название и версии дистрибутива будут различаться, внимательно проверьте и укажите необходимые.

1. Загрузите полученный дистрибутив на сервер, распакуйте его и перейдите в созданную директорию:

   unzip srhx-1.6.0-*-distrib.zip -d /tmp && cd /tmp/srhx/
   

2. Выполните следующие команды из директории, где находятся распакованные файлы.

   [user@vm-name srhx]$ pwd
   /tmp/srhx/
   [user@vm-name srhx]$ ls -l
   -rw-r--r-- 1 user     root     327821009 Mar  5 20:54 dashboard-1.6.0.zip
   -rw-r--r-- 1 root     root       2045982 Mar  5 20:47 index-management-dashboards-1.6.0.zip
   -rw-r--r-- 1 root     root        756487 Mar  5 20:45 notifications-dashboards-1.6.0.zip
   -rw-r--r-- 1 root     root      14842422 Mar  5 21:54 opensearch-index-management-1.6.0.zip
   -rw-r--r-- 1 root     root       9198790 Mar  5 22:04 opensearch-job-scheduler-1.6.0.zip
   -rw-r--r-- 1 root     root       4919467 Mar  5 21:59 opensearch-notifications-1.6.0.zip
   -rw-r--r-- 1 root     root      10896680 Mar  5 21:59 opensearch-notifications-core-1.6.0.zip
   -rw-r--r-- 1 root     root     101699727 Mar  5 21:40 opensearch-security-1.6.0.zip
   -rw-r--r-- 1 root     root      44754603 Mar  5 22:11 opensearch-sql-1.6.0.zip
   -rw-r--r-- 1 root     root      44754603 Mar  5 22:11 opensearch-knn-1.6.0.zip
   -rw-r--r-- 1 root     root      44754603 Mar  5 22:11 opensearch-alerting-1.6.0.zip
   -rw-r--r-- 1 root     root        150311 Mar  5 22:07 prometheus-exporter-1.6.0.zip
   -rw-r--r-- 1 root     root       2700708 Mar  5 20:47 queryWorkbenchDashboards-1.6.0.zip
   -rw-r--r-- 1 root     root       2700708 Mar  5 20:47 alertingDashboards-1.6.0.zip
   -rw-r--r-- 1 root     root          7771 Mar  5 21:50 search-healthcheck-plugin-1.6.0.zip
   -rw-r--r-- 1 root     root     232892620 Mar  5 20:29 search-server-1.6.0.zip
   -rw-r--r-- 1 root     root       1170157 Mar  5 20:44 security-dashboards-1.6.0.zip
   -rw-r--r-- 1 root     root       1170157 Mar  5 20:44 opensearch-custom-codecs-1.6.0.zip
   

Краткое описание распакованных компонентов

Установка компонента SRHX#

Выполните команды для распаковки дистрибутива:

sudo unzip -q ./search-server-*.zip -d /usr/share/opensearch/
sudo mv /usr/share/opensearch/config/* /etc/opensearch/ && sudo rm -rf /usr/share/opensearch/config/
sudo sh -c "echo -e 'path.data: /var/lib/opensearch\npath.logs: /var/log/opensearch' >> /etc/opensearch/opensearch.yml"
sudo mv opensearch-security-*.zip opensearch-index-management-*.zip opensearch-job-scheduler-*.zip opensearch-sql-*.zip opensearch-notifications-*.zip opensearch-notifications-core-*.zip prometheus-exporter-*.zip search-healthcheck-plugin-*.zip opensearch-knn-*.zip opensearch-alerting-*.zip opensearch-custom-codecs-*.zip /usr/share/opensearch/

Описание общего списка команд#

1. Распакуйте сервер в директорию /usr/share/opensearch:

   sudo unzip -q ./search-server-1.6.0.zip -d /usr/share/opensearch/
   

2. Переместите конфигурационные файлы из /usr/share/opensearch/config в заранее созданную директорию, для конфигурационных файлов компонента Поискового движка SRHX – /etc/opensearch и удалите пустую директорию /usr/share/opensearch/config:

   sudo mv /usr/share/opensearch/config/* /etc/opensearch/ && sudo rm -rf /usr/share/opensearch/config/
   

3. Укажите директории в конфигурационном файле OpenSearch, где он будет хранить данные кластера (path.data) и логи (path.logs). В примере ниже данные кластера будут храниться по пути /var/lib/opensearch, а логи в /var/log/opensearch; если требуется изменить места хранения, укажите корректные директории в командах ниже.

   sudo sh -c "echo -e 'path.data: /var/lib/opensearch\npath.logs: /var/log/opensearch' >> /etc/opensearch/opensearch.yml"
   

4. Переместите плагины в домашнюю директорию компонента Поисковый движок (SRHX):

   sudo mv \
   opensearch-sql-*.zip \
   opensearch-security-*.zip \
   opensearch-index-management-*.zip \
   opensearch-job-scheduler-*.zip \
   opensearch-notifications-*.zip \
   opensearch-notifications-core-*.zip \
   prometheus-exporter-*.zip \
   opensearch-knn-*.zip \
   opensearch-alerting-*.zip \
   search-healthcheck-plugin-*.zip \
   opensearch-custom-codecs-*.zip \
   /usr/share/opensearch/
   

Установка Dashboards#

Примечание

Dashboards используется один на весь кластер. Не устанавливайте Dashboards на каждый сервер, где стоит компонент Поисковый движок SRHX.

Внимание!

Используйте команды ниже, только если требуется установить Dashboards на сервер, с которым работаете в данный момент.

Общий список выполняемых команд для распаковки дистрибутива:

sudo unzip -q ./dashboards-*.zip -d /usr/share/opensearch-dashboards/
sudo mv security-dashboards-*.zip queryWorkbenchDashboards-*.zip alertingDashboards-*.zip index-management-dashboards-*.zip notifications-dashboards-*.zip /usr/share/opensearch-dashboards/
sudo mv /usr/share/opensearch-dashboards/config/* /etc/opensearch-dashboards/ && sudo rm -rf /usr/share/opensearch-dashboards/config/

Описание общего списка команд выше#

1. Распакуйте сервер в директорию /usr/share/opensearch-dashboards:

   sudo unzip -q ./dashboards-1.6.0.zip -d /usr/share/opensearch-dashboards/
   

2. Переместите плагины для opensearch-dashboards к нему в домашнюю директорию:

   sudo mv security-dashboards-1.6.0.zip queryWorkbenchDashboards-1.6.0.zip alertingDashboards-1.6.0.zip index-management-dashboards-1.6.0.zip notifications-dashboards-1.6.0.zip /usr/share/opensearch-dashboards/
   

3. Переместите конфигурационные файлы /usr/share/opensearch-dashboards/config в заранее созданную директорию для конфигурационных файлов компонента Поискового движка SRHX - /etc/opensearch-dashboards и удалите пустую директорию /usr/share/opensearch-dashboards/config:

   sudo mv /usr/share/opensearch-dashboards/config/* /etc/opensearch-dashboards/ && sudo rm -rf /usr/share/opensearch-dashboards/config/
   

Установка прав. Наделение правами владельца#

После распаковки измените владельцев директорий и выставите необходимые права.

sudo chown -R opensearch:opensearch /usr/share/opensearch
sudo chown -R opensearch:opensearch /var/log/opensearch
sudo chown -R opensearch:opensearch /var/lib/opensearch
sudo chown -R opensearch:opensearch /etc/opensearch
sudo chown opensearch:opensearch /etc/sysconfig/opensearch

sudo chown -R opensearch-dashboards:opensearch-dashboards /usr/share/opensearch-dashboards
sudo chown -R opensearch-dashboards:opensearch-dashboards /var/log/opensearch-dashboards
sudo chown -R opensearch-dashboards:opensearch-dashboards /etc/opensearch-dashboards
sudo chown opensearch-dashboards:opensearch-dashboards /etc/sysconfig/opensearch-dashboards


sudo chmod 740 /var/lib/opensearch
sudo chmod 750 /usr/share/opensearch
sudo chmod 750 /usr/share/opensearch/logs
sudo chmod 750 -R /usr/share/opensearch/bin
sudo chmod 750 -R /usr/share/opensearch/plugins
sudo chmod 750 -R /var/log/opensearch
sudo chmod 750 /etc/opensearch
sudo chmod 0700 -R /etc/opensearch/secman
sudo chmod 770 -R /etc/opensearch/usertoken

sudo chmod 750 /usr/share/opensearch-dashboards
sudo chmod 750 -R /usr/share/opensearch-dashboards/bin
sudo chmod 750 -R /usr/share/opensearch-dashboards/plugins
sudo chmod 750 -R /var/log/opensearch-dashboards
sudo chmod 750 /etc/opensearch-dashboards
sudo chmod 0700 -R /etc/opensearch-dashboards/secman
sudo chmod 770 -R /etc/opensearch-dashboards/usertoken

Установка плагинов#

Команды по установке плагинов могут быть применены, только в том случае, если валидно заполнен файл opensearch.yml.

Установка плагинов от пользователя opensearch на opensearch-server#

1. При распаковке дистрибутива все плагины перемещены в корневую директорию программы /usr/share/opensearch/. Далее при установке плагинов будет использоваться указанный путь.

2. Если плагины находятся в другом месте, укажите полный путь к них и проверьте, имеется ли доступ туда у пользователя opensearch.

   Внимание!

   Установку плагинов выполните от пользователя, под которым запускается компонент SRHX. Для компонента Поисковый движок (SRHX) используйте пользователя – opensearch.(Не устанавливайте плагины из-под root!)

   Название и версии плагинов могу различаться, внимательно проверьте и укажите необходимые.

   sudo su - opensearch -c 'yes | /usr/share/opensearch/bin/opensearch-plugin install \
   file:///usr/share/opensearch/opensearch-knn-1.6.0.zip \
   file:///usr/share/opensearch/opensearch-alerting-1.6.0.zip \
   file:///usr/share/opensearch/opensearch-custom-codecs-1.6.0.zip \
   file:///usr/share/opensearch/opensearch-security-1.6.0.zip \
   file:///usr/share/opensearch/opensearch-job-scheduler-1.6.0.zip \
   file:///usr/share/opensearch/opensearch-sql-1.6.0.zip \
   file:///usr/share/opensearch/opensearch-index-management-1.6.0.zip \
   file:///usr/share/opensearch/opensearch-notifications-core-1.6.0.zip \
   file:///usr/share/opensearch/opensearch-notifications-1.6.0.zip \
   file:///usr/share/opensearch/search-healthcheck-plugin-1.6.0.zip \
   file:///usr/share/opensearch/prometheus-exporter-1.6.0.zip'
   

   Возможна установка плагинов по одному:

   sudo su - opensearch -c 'yes | /usr/share/opensearch/bin/opensearch-plugin install file:///usr/share/opensearch/opensearch-security-1.6.0.zip'
   

3. После установки плагина безопасности появятся скрипты:

   • securityadmin.sh;

   • hash.sh;

   • audit_config_migrater.sh,

   которые находятся по пути /usr/share/opensearch/plugins/opensearch-security/tools. Необходимо сделать их исполняемыми.

   sudo chmod +x \
   /usr/share/opensearch/plugins/opensearch-security/tools/securityadmin.sh \
   /usr/share/opensearch/plugins/opensearch-security/tools/hash.sh \
   /usr/share/opensearch/plugins/opensearch-security/tools/audit_config_migrater.sh
   

4. После установки плагина безопасности потребуется настройка шифрования. Для тестового запуска можно временно отключить плагин безопасности и проверить работоспособность программы. Для этого в файл /etc/opensearch/opensearch.yml добавьте строку plugins.security.disabled: true.

   sudo sh -c "echo -e 'plugins.security.disabled: true' >> /etc/opensearch/opensearch.yml"
   

Установка плагинов от пользователя opensearch-dashboards на opensearch-dashboards#

1. При распаковке дистрибутива все плагины перемещены в корневую директорию программы usr/share/opensearch-dashboards/. Далее при установке плагинов будет использоваться указанный путь.

2. Если плагины находятся в другом месте, укажите полный путь к ним и проверьте, имеется ли доступ туда у пользователя opensearch-dashboards.

   Внимание!

   Установку плагинов выполните от пользователя, под которым запускается компонент SRHX. Для компонента Поисковый движок (SRHX) используйте пользователя – opensearch-dashboards.(Не устанавливайте плагины из-под root!)

   Название и версии плагинов могут различаться, внимательно проверьте и укажите необходимые.

   sudo su - opensearch-dashboards -c 'yes | /usr/share/opensearch-dashboards/bin/opensearch-dashboards-plugin install file:///usr/share/opensearch-dashboards/security-dashboards-1.6.0.zip'
   sudo su - opensearch-dashboards -c 'yes | /usr/share/opensearch-dashboards/bin/opensearch-dashboards-plugin install file:///usr/share/opensearch-dashboards/notifications-dashboards-1.6.0.zip'
   sudo su - opensearch-dashboards -c 'yes | /usr/share/opensearch-dashboards/bin/opensearch-dashboards-plugin install file:///usr/share/opensearch-dashboards/index-management-dashboards-1.6.0.zip'
   sudo su - opensearch-dashboards -c 'yes | /usr/share/opensearch-dashboards/bin/opensearch-dashboards-plugin install file:///usr/share/opensearch-dashboards/queryWorkbenchDashboards-1.6.0.zip'
   sudo su - opensearch-dashboards -c 'yes | /usr/share/opensearch-dashboards/bin/opensearch-dashboards-plugin install file:///usr/share/opensearch-dashboards/alertingDashboards-1.6.0.zip'
   

Создание Unit services и их запуск#

1. Убедитесь, что все пути указаны корректно.

2. Создайте точки монтирования в RAM для Server:

   sudo nano /etc/systemd/system/etc-opensearch-secman-secrets.mount
   

3. Добавьте:

   [Unit]
   Description=Mount /etc/opensearch/secman/secrets
   DefaultDependencies=no
   Before=shutdown.target reboot.target halt.target
   
   [Mount]
   What=tmpfs
   Where=/etc/opensearch/secman/secrets
   Type=tmpfs
   Options=mode=0700,uid=opensearch,gid=opensearch,size=100m
   ForceUnmount=true
   
   [Install]
   WantedBy=multi-user.target shutdown.target reboot.target halt.target
   

4. Создайте точки монтирования в RAM для Dashboards:

   sudo nano /etc/systemd/system/etc-opensearch\\x2ddashboards-secman-secrets.mount
   

5. Добавьте:

   [Unit]
   Description=Mount /etc/opensearch-dashboards/secman/secrets
   DefaultDependencies=no
   Before=shutdown.target reboot.target halt.target
   
   [Mount]
   What=tmpfs
   Where=/etc/opensearch-dashboards/secman/secrets
   Type=tmpfs
   Options=mode=0700,uid=opensearch-dashboards,gid=opensearch-dashboards,size=100m
   ForceUnmount=true
   
   [Install]
   WantedBy=multi-user.target shutdown.target reboot.target halt.target
   

6. Создайте Unit services для Server:

   sudo nano /etc/systemd/system/opensearch.service
   

7. Добавьте:

   [Unit]
   Description=Platform V Search
   Wants=network-online.target
   After=network-online.target etc-opensearch-secman-secrets.mount
   
   [Service]
   Type=forking
   RuntimeDirectory=opensearch
   PrivateTmp=true
   
   Environment=MAX_LOCKED_MEMORY=unlimited
   Environment=OPENSEARCH_PATH_CONF=/etc/opensearch
   EnvironmentFile=-/etc/sysconfig/opensearch
   Environment=PID_DIR=/var/run/opensearch
   Environment=KNN_LIB_DIR=/usr/share/opensearch/plugins/opensearch-knn/lib
   Environment=LD_LIBRARY_PATH=/usr/java/packages/lib:/usr/lib64:/lib64:/lib:/usr/lib:/usr/share/opensearch/plugins/opensearch-knn/lib
   
   WorkingDirectory=/usr/share/opensearch
   ExecStartPre=/usr/share/opensearch/bin/init_script.sh
   ExecStart=/usr/share/opensearch/bin/opensearch -d -p ${PID_DIR}/opensearch.pid
   ExecStopPost=/usr/share/opensearch/bin/saving-secman-data.sh
   
   User=opensearch
   Group=opensearch
   
   StandardOutput=journal
   StandardError=inherit
   
   # Service restart - 5 times with an interval of 30 seconds for 200 seconds
   Restart=on-failure
   RestartSec=30
   StartLimitInterval=200
   StartLimitBurst=5
   
   # Unlimited memory lock for service
   LimitMEMLOCK=infinity
   # Specifies the maximum file descriptor number that can be opened by this process
   LimitNOFILE=65535
   # Specifies the maximum number of processes
   LimitNPROC=4096
   # Specifies the maximum size of virtual memory
   LimitAS=infinity
   # Specifies the maximum file size
   LimitFSIZE=infinity
   # Disable timeout logic and wait until process is stopped
   TimeoutStopSec=0
   # SIGTERM signal is used to stop the Java process
   KillSignal=SIGTERM
   # Send the signal only to the JVM rather than its control group
   KillMode=process
   # Java process is never killed
   SendSIGKILL=no
   # When a JVM receives a SIGTERM signal it exits with code 143
   SuccessExitStatus=143
   # Allow a slow startup before the systemd notifier module kicks in to extend the timeout
   TimeoutStartSec=75
   
   [Install]
   WantedBy=multi-user.target
   

8. Создайте Unit services для Dashboards (Если на данном сервере установлен opensearch-dashboards):

   sudo nano /etc/systemd/system/opensearch-dashboards.service
   

9. Добавьте:

   [Unit]
   Description=Platform V Search Dashboard
   Wants=network-online.target
   After=network-online.target etc-opensearch\\x2ddashboards-secman-secrets.mount  
   
   [Service]
   Type=simple
   User=opensearch-dashboards
   Group=opensearch-dashboards
   
   Environment=OSD_PATH_CONF=/etc/opensearch-dashboards
   EnvironmentFile=-/etc/sysconfig/opensearch-dashboards
   
   WorkingDirectory=/usr/share/opensearch-dashboards/
   ExecStartPre=/usr/share/opensearch-dashboards/bin/init_script.sh
   ExecStart=/bin/bash -c '/usr/share/opensearch-dashboards/bin/opensearch-dashboards &> /var/log/opensearch-dashboards/stdout.log'
   ExecStopPost=/usr/share/opensearch-dashboards/bin/saving-dashboards-secman-data.sh  
   
   StandardOutput=journal
   StandardError=inherit
   
   # Service restart - 5 times with an interval of 30 seconds for 200 seconds
   Restart=on-failure
   RestartSec=30
   StartLimitInterval=200
   StartLimitBurst=5 
   
   [Install]
   WantedBy=multi-user.target
   

10. Выполните перезагрузку systemd:

    sudo systemctl daemon-reload
    

11. Добавьте точку монтирования в автозагрузку и запустите:

    sudo systemctl enable etc-opensearch-secman-secrets.mount --now
    sudo systemctl enable etc-opensearch\\x2ddashboards-secman-secrets.mount --now
    

12. Добавьте opensearch-services в автозагрузку и запустите:

    sudo systemctl enable opensearch.service --now
    

13. Добавьте opensearch-dashboards-services в автозагрузку и запустите:

    sudo systemctl enable opensearch-dashboards.service --now
    

Настройка компонента SRHX#

Описание файлов для настройки компонента SRHX

Настройка параметров в opensearch.yml#

Большинство настроек компонента SRHX описываются в файле /etc/opensearch/opensearch.yml и считываются при запуске.

Внимание!

Для настройки кластера подготовьте два сертификата с разными CN и подписанные одним УЦ. Один сертификат используется для межкластерного шифрования и шифрования HTTP-уровня. Второй, сертификат администратора, для доступа с правами администратора.

Сертификаты администратора — это обычные клиентские сертификаты с повышенными правами внутри компонента SRHX, для выполнения административных задач. Сертификат администратора необходим для изменения конфигурации плагина безопасности с помощью plugins/opensearch-security/tools/securityadmin.sh или REST API. Сертификаты администратора настраиваются в opensearch.yml путем указания их DN:

plugins.security.authcz.admin_dn:
  - 'CN=<Common Name вашего сертификата администратора>, OU=<Подразделение организации>, O=<Наименование организации, выдавшей сертификат>, STREET=<Наименование улицы, на которой располагается организация>, L=<Населенный пункт, в котором расположена организация>, ST=<Наименование региона, в котором расположен сертификат>, C=<Наименование страны, в которой расположена организация>'

Сертификаты должны быть в формате PKCS#8. Замените все содержимое файла (удалите весь текст в существующем фале) /etc/opensearch/opensearch.yml.

### Шаблон безопасной конфигурации сервера.
### Подставьте необходимые значения там, где требуется.
### Символы < > указывают значения, которые требуется заменить. При подстановке необходимых значений символы < > использовать не нужно.

bootstrap.memory_lock: true

# Настройки хоста
network.host: <FQDN или IP текущего хоста>
http.port: `<Необходимо выбрать один любой порт выше 10000 (например:19200 )>`
transport.port: `<Необходимо выбрать один любой порт выше 10000 (например:19301)>`

# Настройки кластера
cluster.name: <ваше имя кластера>
node.name: <ваше имя текущей node>
node.roles:
  - cluster_manager
  - data
cluster.initial_cluster_manager_nodes:
  - <node.name node 1 в кластере>
  - <node.name node 2 в кластере>
  - <node.name node 3 в кластере>
discovery.seed_hosts:
  - <FQDN или IP node 1 в кластере>:<Значение указанное в параметре "transport.port">
  - <FQDN или IP node 2 в кластере>:<Значение указанное в параметре "transport.port">
  - <FQDN или IP node 3 в кластере>:<Значение указанное в параметре "transport.port">

# Настройки для хранения данных и логов текущей node
path.data: /var/lib/opensearch
path.logs: /var/log/opensearch

  # Настройки плагина Security

#############################################################
## Не отключаемые параметры.
plugins.security.disabled: false
plugins.security.secman.enabled: true
plugins.security.ssl.http.enabled: true
plugins.security.ssl.transport.enabled: true

plugins.security.ssl.http.keystore_filepath: "/etc/opensearch/secman/certs/http.jks"
plugins.security.ssl.http.truststore_filepath: "/etc/opensearch/secman/certs/httptrust.jks"
plugins.security.ssl.http.enabled_protocols: ["TLSv1.2", "TLSv1.3"]
plugins.security.ssl.http.enabled_ciphers: ["TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384", "TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256"]
plugins.security.ssl.http.clientauth_mode: REQUIRE

plugins.security.ssl.transport.keystore_filepath: "/etc/opensearch/secman/certs/transport.jks"
plugins.security.ssl.transport.truststore_filepath: "/etc/opensearch/secman/certs/transport.jks"
plugins.security.ssl.transport.enabled_protocols: ["TLSv1.2", "TLSv1.3"]
plugins.security.ssl.transport.enabled_ciphers: ["TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384", "TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256"]
plugins.security.ssl.transport.enforce_hostname_verification: true 

plugins.security.authcz.admin_dn:
  - 'CN=<Common Name вашего сертификата администратора>, OU=<Подразделение организации>, O=<Наименование организации, выдавшей сертификат>, STREET=<Наименование улицы, на которой располагается организация>, L=<Населенный пункт, в котором расположена организация>, ST=<Наименование региона, в котором расположен сертификат>, C=<Наименование страны, в которой расположена организация>' 
plugins.security.nodes_dn:
  - 'CN=<Common Name межкластерного сертификата/Параметр указанный в plugins.security.secman.transport.cn>, OU=<Подразделение организации>, O=<Наименование организации, выдавшей сертификат>, STREET=<Наименование улицы, на которой располагается организация>, L=<Населенный пункт, в котором расположена организация>, ST=<Наименование региона, в котором расположен сертификат>, C=<Наименование страны, в которой расположена организация>'

plugins.security.audit.type: ru.sbt.audit.PlatformVAuditSink

plugins.security.allow_default_init_securityindex: true
plugins.security.restapi.roles_enabled: "all_access"
plugins.security.system_indices:
  enabled: true
  indices: [".plugins-ml-model", ".plugins-ml-task", ".opendistro-alerting-config", ".opendistro-alerting-alert*", ".opendistro-anomaly-results*", ".opendistro-anomaly-detector*", ".opendistro-anomaly-checkpoints", ".opendistro-anomaly-detection-state", ".opendistro-reports-*", ".opensearch-notifications-*", ".opensearch-notebooks", ".opensearch-observability", ".opendistro-asynchronous-search-response*", ".replication-metadata-store"]
plugins.security.cache.ttl_minutes: 120
## Не отключаемые параметры.
#############################################################

Описание всех параметров указанных в примере opensearch.yml приведены в таблице ниже.

Настройка JVM Heap Size параметров#

Для быстрой и стабильной работы рекомендуется выделять компоненту SRHX 50 процентов оперативной памяти сервера.

Для этого:

1. Unit services компонента SRHX в Linux должен содержать параметры: Environment=MAX_LOCKED_MEMORY=unlimited и LimitMEMLOCK=infinity (прописывается при создании unit service). В лимитах для пользователя opensearch – должен быть установлен параметр opensearch - memlock unlimited (описано в разделе Изменение лимитов пользователей данного документа).

2. В opensearch.yml должен быть прописан параметр bootstrap.memory_lock: со значением true.

Укажите нужное значение в параметрах Java. Для этого откройте файл /etc/opensearch/jvm.options, найдите параметры -Xms и -Xmx и укажите значение в гигабайтах, равное половине оперативной памяти текущего сервера, но не более 32766 Мб.

3. Узнайте размер оперативной памяти на текущем сервере с помощью команды:

   free -g | grep Mem: | awk '{print $2}'
   23
   

4. Отредактируйте параметры в файле с настройками JVM и укажите округленные значения, равные половине числа, полученного в предыдущей команде.

   sudo nano /etc/opensearch/jvm.options
   # JVM configuration
   
   ################################################################
   ## IMPORTANT: JVM heap size
   ################################################################
   
   
   # Xms represents the initial size of total heap space
   # Xmx represents the maximum size of total heap space
   
   -Xms11g
   -Xmx11g
   

Добавление параметров в opensearch-keystore#

Внимание!

Выполнение данного пункта для компонента Поисковый движок (SRHX) требуется для обеспечения работы при недоступности Secret Management System. Обратите внимание, что Dashboards имеет свой собственный Keystore – opensearch-dashboards-keystore. Его настройка отличается и описана в пункте Добавление параметров в opensearch-dashboards-keystore.

Создайте keystore с помощью параметра create.

#создайте хранилище, если оно еще не существует
sudo su - opensearch -c '/usr/share/opensearch/bin/opensearch-keystore create'

Внимание!

opensearch-keystore будет создан для пользователя linux, от которого будут запускаться команды. Не выполняйте команды из под root! Используйте для этого пользователя opensearch.

Opensearch-keystore используется для сохранения сертификатов на случай недоступности Secret Management System и для сокрытия чувствительных данных (например логин/пароль) в компоненте Поисковый движок (SRHX). Хранение логина и пароля выполняется в opensearch.yml.

Список часто используемых параметров

Настройка параметров в opensearch_dashboards.yml#

Большинство настроек компонента SRHX описываются в файле /etc/opensearch-dashboards/opensearch_dashboards.yml и считываются при запуске компонента SRHX.

Внимание!

Должны быть подготовлены сертификаты для межкластерного шифрования и шифрования HTTP-уровня. Здесь используются те же сертификаты, которые были установлены ранее.

Замените все содержимое файла (удалите весь текст в существующем файле) /etc/opensearch-dashboards/opensearch_dashboards.yml текстом указанным в готовом образце opensearch_dashboards.yml, изменив значения на необходимые.

Готовый образец opensearch_dashboards.yml

### Шаблон безопасной конфигурации dashboards.
### Подставьте необходимые значения там, где требуется.
### Символы < > указывают значения, которые требуется заменить. При подстановке необходимых значений символы < > использовать не нужно.
 
 
# Настройки для самого dashboards
server.host: "<FQDN или IP текущего хоста>"
server.port: 15601
server.ssl.enabled: true 
server.ssl.keystore.path: /etc/opensearch-dashboards/secman/certs/http.p12
server.ssl.truststore.path: /etc/opensearch-dashboards/secman/certs/trust.p12 

# Настройки для соединения dashboards с сервером OpenSearch
opensearch.hosts:
    - https://<FQDN или IP node 1 в кластере>:ХХХХХ
    - https://<FQDN или IP node 2 в кластере>:ХХХХХ
    - https://<FQDN или IP node 3 в кластере>:ХХХХХ
 
opensearch.ssl.alwaysPresentCertificate: true
opensearch.ssl.verificationMode: full
opensearch.ssl.keystore.path: /etc/opensearch-dashboards/secman/certs/transport.p12
opensearch.ssl.truststore.path: /etc/opensearch-dashboards/secman/certs/trust.p12  

opensearch.requestHeadersAllowlist:
  - authorization
  - securitytenant
 
# Настройки логирования
logging.dest: /var/log/opensearch-dashboards/opensearch-dashboards.log
logging.json: false
logging.verbose: true
 
# Настройки плагина Security
opensearch_security.auth.type: "basicauth"
opensearch_security.cookie.secure: true
opensearch_security.session.keepalive: true
 
# Указанны значения в миллисекундах
opensearch_security.cookie.ttl: 86400000
opensearch_security.session.ttl: 1200000
 
i18n.locale: "ru"

secman.enabled: true

#Настройка метрик в Dashboards
prometheus.metrics.job_name: opensearch_dashboards
prometheus.metrics.path: _prometheus/metrics

Описание всех параметров указанных в примере opensearch_dashboards.yml представлено в таблице ниже.

Добавление параметров в opensearch-dashboards-keystore#

Для сокрытия чувствительных данных (например логин/пароль) в компоненте SRHX существует opensearch-dashboards-keystore.

Внимание!

Выполнение данного пункта для Dashboards требуется для обеспечения работы при недоступности Secret Management System.

Для работы с opensearch-dashboards-keystore запустите /usr/share/opensearch-dashboards/bin/opensearch-dashboards-keystore <параметр> (--help, чтобы увидеть все доступные параметры).

Список часто используемых параметров

Для продолжения установки добавьте в opensearch-dashboards-keystore логин и пароль для соединения с компонентом SRHX, так же пароли от сертификатов. Это будут параметры:

Внимание!

Обязательно требуется добавление параметров opensearch.username и opensearch.password. В данных параметрах указываются значения, под которыми dashboards будет авторизоваться на сервере. Поскольку на сервере включен плагин Security, обязательно требуется аутентификация/авторизация.

Создайте keystore с помощью параметра create. Добавьте необходимые параметры при помощи параметра add.

Внимание!

opensearch-dashboards-keystore будет создан для пользователя, который будет запускать команды. Не выполняйте команды из-под root! Используйте для этого пользователя opensearch-dashboards.

#Создайте хранилище, если оно еще не существует
sudo su - opensearch-dashboards -c '/usr/share/opensearch-dashboards/bin/opensearch-dashboards-keystore create'

#После команды будет ожидать ввода данных
sudo su - opensearch-dashboards -c '/usr/share/opensearch-dashboards/bin/opensearch-dashboards-keystore add opensearch.username'
#После команды будет ожидать ввода данных
sudo su - opensearch-dashboards -c '/usr/share/opensearch-dashboards/bin/opensearch-dashboards-keystore add opensearch.password'

На этом настройка сервера может быть завершена.

Для первого запуска можно использовать ролевую модель по умолчанию с пользователями из internal_users.yml.

Настройка методов аутентификации/авторизации и ролевой модели#

В разделе приведена информация для ознакомления с возможностями ролевой модели компонента SRHX.

1. Ролевая модель настраивается в файлах internal_users.yml, roles.yml, roles_mapping.yml, которые находятся в /etc/opensearch/opensearch-security/.

2. Методы аутентификации настраиваются в файле config.yml, который находится в /etc/opensearch/opensearch-security/.

При старте компонента SRHX в первый раз подгружаются данные из этих файлов. Поэтому на сервере уже будут стандартные пользователи из этих файлов и метод аутентификации basicauth, который указан в config.yml. Редактирование файлов выполняется при необходимости.

Получение файлов текущей конфигурации ролевой модели кластера#

Запустите скрипт securityadmin.sh, который находится по пути /usr/share/opensearch/plugins/opensearch-security/tools/securityadmin.sh, где my-backup-directory - директория, в которую будут скопированы все текущие конфигурационные файлы кластера.

sudo su - opensearch -c '/usr/share/opensearch/plugins/opensearch-security/tools/securityadmin.sh \
-backup <my-backup-directory> \
-cert <Путь к сертификату администратора> \
-key <Путь к приватному ключу для сертификата администратора> \
-keypass <Пароль от приватного ключа для сертификата администратора>

Создание шифрованного пароля для пользователя#

Все пароли в internal_users.yml хранятся в зашифрованном виде. Для шифрования пароля есть скрипт hash.sh.

1. Запустите скрипт от пользователя opensearch.

    sudo su - opensearch -c '/usr/share/opensearch/plugins/opensearch-security/tools/hash.sh'
   

2. После загрузки скрипта он будет ожидать ввода пароля, который будет зашифрован. В примере используйте пароль der_parol.

   **************************************************************************
   ** This tool will be deprecated in the next major release of OpenSearch **
   **************************************************************************
   [Password:]
   

3. После ввода данных и нажатия Enter, получите введенный пароль в зашифрованном виде.

   $2y$12$MnTVuoi0Ue.Bbn47Np.xFuPjNcGGrazvgAZDkfSDMzSSd69Y3H6SW
   

Создание пользователя#

1. В файл internal_users.yml добавьте блок нового пользователя:

   sudo nano /etc/opensearch/opensearch-security/internal_users.yml
   

2. Добавьте, подставив необходимые данные:

   example_user:
   hash: "$2y$12$MnTVuoi0Ue.Bbn47Np.xFuPjNcGGrazvgAZDkfSDMzSSd69Y3H6SW"
   reserved: false
   description: "Demo pvs_admin user, using internal role mapping`
   

Создание роли#

1. Создайте роль с возможностями администрирования в файле roles.yml.

   sudo nano /etc/opensearch/opensearch-security/roles.yml
   

2. Добавьте:

    example_role:
       reserved: false
       hidden: false
       cluster_permissions:
       - 'cluster:admin/*'
       - 'cluster:monitor/*'
       index_permissions:
       - index_patterns:
       - '*'
       allowed_actions:
       - 'indices:admin/*'
       - 'indices:data/*'
       - 'indices:monitor/*'
   

Связывание созданной роли и пользователя#

1. Присвойте роль созданному пользователю в файле roles_mapping.yml.

   sudo nano /etc/opensearch/opensearch-security/roles_mapping.yml
   

2. Добавьте:

   example_role:
   reserved: false
   users:
   - "example_user"
   description: "Maximum access to everything"
   

Применение данных к кластеру#

Внимание!

После применения новой конфигурации к кластеру, предыдущие параметры будут перезаписаны без возможности восстановления. Для сохранения текущих параметров используйте опцию -backup.

После редактирования данных в файлах примените их к кластеру.

Запустите скрипт securityadmin.sh, который находится по пути /usr/share/opensearch/plugins/opensearch-security/tools/securityadmin.sh.

При запуске этого скрипта укажите дополнительные параметры.

Параметры для работы с хранилищем сертификатов p12 или jks. Нельзя использовать вместе с параметрами для обычных сертификатов.

Пример запуска скрипта от пользователя opensearch:

sudo su - opensearch -c '/usr/share/opensearch/plugins/opensearch-security/tools/securityadmin.sh \
-icl \
-nhnv \
-cd /etc/opensearch/opensearch-security/ \
-h "<адрес вашего хоста, где запущен компонент SRHX>" \
-p "ХХХХХ" \
-cacert "/etc/opensearch/certs/<имя вашего корневого сертификата>" \
-cert "/etc/opensearch/certs/<имя вашего сертификата администратора>" \
-key "/etc/opensearch/certs/<имя вашего приватного ключа для сертификата администратора>" \
-keypass "<пароль от приватного ключа для сертификата администратора>"'

Пример вывода успешного выполнения скрипта. В конце должна быть надпись Done with success

Security Admin v7
Will connect to <адрес вашего хоста, где запущен SRHX>:ХХХХХ ... done
Connected as "CN=<CN вашего админ-сертификата>,O=<имя вашего УЦ>"
OpenSearch Version: 1.6.0
Contacting opensearch cluster 'opensearch' and wait for YELLOW clusterstate ...
Clustername: <название вашего кластера>
Clusterstate: GREEN
Number of nodes: 3
Number of data nodes: 3
.opendistro_security index already exists, so we do not need to create one.
Populate config from /etc/opensearch/opensearch-security/
Will update '/config' with /etc/opensearch/opensearch-security/config.yml
   SUCC: Configuration for 'config' created or updated
Will update '/roles' with /etc/opensearch/opensearch-security/roles.yml
   SUCC: Configuration for 'roles' created or updated
Will update '/rolesmapping' with /etc/opensearch/opensearch-security/roles_mapping.yml
   SUCC: Configuration for 'rolesmapping' created or updated
Will update '/internalusers' with /etc/opensearch/opensearch-security/internal_users.yml
   SUCC: Configuration for 'internalusers' created or updated
Will update '/actiongroups' with /etc/opensearch/opensearch-security/action_groups.yml
   SUCC: Configuration for 'actiongroups' created or updated
Will update '/tenants' with /etc/opensearch/opensearch-security/tenants.yml
   SUCC: Configuration for 'tenants' created or updated
Will update '/nodesdn' with /etc/opensearch/opensearch-security/nodes_dn.yml
   SUCC: Configuration for 'nodesdn' created or updated
Will update '/whitelist' with /etc/opensearch/opensearch-security/whitelist.yml
   SUCC: Configuration for 'whitelist' created or updated
Will update '/audit' with /etc/opensearch/opensearch-security/audit.yml
   SUCC: Configuration for 'audit' created or updated
Will update '/allowlist' with /etc/opensearch/opensearch-security/allowlist.yml
   SUCC: Configuration for 'allowlist' created or updated
SUCC: Expected 10 config types for node {"updated_config_types":["allowlist","tenants","rolesmapping","nodesdn","audit","roles","whitelist","internalusers","actiongroups","config"],"updated_config_size":10,"message":null} is 10 (["allowlist","tenants","rolesmapping","nodesdn","audit","roles","whitelist","internalusers","actiongroups","config"]) due to: null
Done with success

Руководство по установке DataPrepper на VM Ware#

Данное руководство описывает порядок установки ПО DataPrepper на VM Ware. Руководство составлено для версии DataPrepper 1.6.0.

Создание пользователей на сервере и их настройка#

Создайте следующих пользователей:

• dataprepper – пользователь, от которого будет запускаться ПО;

• dpadmin - пользователь, под которым будет работать потребитель. Под данным пользователем можно будет читать и изменять конфигурацию DataPrepper, смотреть DataPrepper логи, перезапускать DataPrepper службу;

• dpdevops - пользователь, под которым будет работать система автоматизации. Под данным пользователем можно будет читать и изменять конфигурацию DataPrepper, смотреть DataPrepper логи, перезапускать DataPrepper службу;

• dplogs – пользователь для просмотра логов dataprepper.

Для этого выполните следующие команды:

Внимание!

В командах ниже пользователи создаются с паролем, равным имени пользователя. Значения в команде после «openssl passwd -1 ваш_пароль» необходимо заменить на свои.

# Создание пользователей
sudo useradd --system dataprepper -U
sudo useradd -p $(openssl passwd -1 dpadmin) -m dpadmin
sudo useradd -p $(openssl passwd -1 dpdevops) -m dpdevops
sudo useradd -p $(openssl passwd -1 dplogs) -m dplogs
  
# Добавление пользователей в группу dataprepper
sudo usermod -aG dataprepper dpadmin
sudo usermod -aG dataprepper dpdevops
 
# Добавление пользователей в группу dpdevops
sudo usermod -aG dpdevops dataprepper
sudo usermod -aG dpdevops dpadmin
 
# Добавление пользователей в группу dpadmin
sudo usermod -aG dpadmin dataprepper
sudo usermod -aG dpadmin dpdevops
 
#Добавляем пользователя оператора и технического  пользователя в группу dplogs, чтобы иметь возможность читать логи dataprepper под этими пользователями
sudo usermod -aG dplogs dpadmin
sudo usermod -aG dplogs dpdevops

Далее необходимо выдать права на рестарт systemd сервиса dataprepper для пользователей pdadmin и dpdevops. Для этого выполните следующие команды:

sudo su -c "cat > /etc/sudoers.d/dpadmin<<EOF
dpadmin ALL=(ALL) NOPASSWD: /bin/systemctl start dataprepper.service, /bin/systemctl start dataprepper
dpadmin ALL=(ALL) NOPASSWD: /bin/systemctl restart dataprepper.service, /bin/systemctl restart dataprepper
dpadmin ALL=(ALL) NOPASSWD: /bin/systemctl stop dataprepper.service, /bin/systemctl stop dataprepper
dpadmin ALL=(ALL) NOPASSWD: /bin/systemctl enable dataprepper.service, /bin/systemctl enable dataprepper
dpadmin ALL=(ALL) NOPASSWD: /bin/systemctl disable dataprepper.service, /bin/systemctl disable dataprepper
dpadmin ALL=(ALL) NOPASSWD: /bin/systemctl reset-failed dataprepper.service, /bin/systemctl reset-failed dataprepper
EOF
"
sudo su -c "cat > /etc/sudoers.d/dpdevops<<EOF
dpdevops ALL=(ALL) NOPASSWD: /bin/systemctl start dataprepper.service, /bin/systemctl start dataprepper
dpdevops ALL=(ALL) NOPASSWD: /bin/systemctl restart dataprepper.service, /bin/systemctl restart dataprepper
dpdevops ALL=(ALL) NOPASSWD: /bin/systemctl stop dataprepper.service, /bin/systemctl stop dataprepper
dpdevops ALL=(ALL) NOPASSWD: /bin/systemctl enable dataprepper.service, /bin/systemctl enable dataprepper
dpdevops ALL=(ALL) NOPASSWD: /bin/systemctl disable dataprepper.service, /bin/systemctl disable dataprepper
dpdevops ALL=(ALL) NOPASSWD: /bin/systemctl reset-failed dataprepper.service, /bin/systemctl reset-failed dataprepper
EOF"

Также необходимо добавить служебным пользователям переменные окружения с путями к конфигурациям. Для этого выполните следующие команды:

sudo sh -c "echo -e 'export DATAPREPPER_HOME=/usr/share/dataprepper\nexport DATA_PREPPER_CONFIG_DIR=/etc/dataprepper\n' >> /home/dpadmin/.bashrc"
sudo sh -c "echo -e 'export DATAPREPPER_HOME=/usr/share/dataprepper\nexport DATA_PREPPER_CONFIG_DIR=/etc/dataprepper\n' >> /home/dpdevops/.bashrc"

Размещение файлов DataPrepper наVMWare#

DataPrepper распространяется в виде tar архива, внутри которого находится директория, имя которой такое же, как имя архива без расширения.

Перед распаковкой архива необходимо создать директории, куда будет распаковано содержимое архива:

sudo mkdir -p /usr/share/dataprepper
sudo mkdir -p /etc/dataprepper/secman/certs
sudo mkdir -p /var/log/dataprepper
sudo mkdir -p /etc/dataprepper/usertoken/

Затем нужно распаковать архив:

#Извлекаем архив data-prepper из общей выдачи
sudo unzip -j srhx-*-distrib.zip srhx/data-prepper-*-linux-x64.tar.gz -d .
#Извлекаем папку с контентом data-prepper
sudo tar --strip-components=1 -C /usr/share/dataprepper/ -xzf data-prepper-*-linux-x64.tar.gz data-prepper-*-linux-x64

Также необходимо разграничить доступ к файлам DataPrepper, файлам конфигурации и файлам логов между пользователями. Для этого выполните следующий набор команд:

# Переносим шаблоны конфигурации в папку с конфигурацией dataprepper
sudo bash -c "mv /usr/share/dataprepper/config/* /etc/dataprepper/ && rm -rf /usr/share/dataprepper/config/"
 
 
#Выдаем доступ к новой директории для сервисного пользователя и группы
sudo chown dataprepper:dataprepper -R /usr/share/dataprepper/
 
#Ограничиваем доступ к расположению файлов конфигурации и логов
sudo chown dataprepper:dataprepper -R /etc/dataprepper/
sudo chown dataprepper:dplogs -R /var/log/dataprepper/
sudo chmod g+s /var/log/dataprepper
 
# Настраиваем права доступа
sudo chmod 400 -R /usr/share/dataprepper/
sudo chmod 500 -R /usr/share/dataprepper/bin/
sudo chmod 500 -R /usr/share/dataprepper/lib/
sudo chmod -R +X /usr/share/dataprepper/
 
 
sudo chmod 660 -R /etc/dataprepper/
sudo chmod +X -R /etc/dataprepper/
sudo chmod 440 /etc/dataprepper/params_for_validate.yml
 
# Учтите, что файл токена будет создаваться с со списком permission согласно настроенной umask в системе
sudo chmod 700 -R /etc/dataprepper/secman

Внимание!

Рекомендуется сделать mount раздела выделенного диска в директорию /var/log/dataprepper.

Создание dataprepper systemd service#

Необходимо создать systemd службу для управления dataprepper, для этого воспользуйтесь следующей командой:

sudo su -c "cat > /etc/systemd/system/dataprepper.service <<EOF
[Unit]
Description=PVS DataPrepper
Wants=network-online.target
After=network-online.target
  
[Service]
Type=simple
RuntimeDirectory=dataprepper
PrivateTmp=true
 
Environment=PID_DIR=/var/run/dataprepper
Environment=DATA_PREPPER_CONFIG_DIR=/etc/dataprepper  
 
WorkingDirectory=/usr/share/dataprepper
ExecStart=/usr/share/dataprepper/bin/data-prepper /etc/dataprepper/pipelines/ /etc/dataprepper/data-prepper-config.yaml
ExecStartPre=/usr/share/dataprepper/bin/init_script.sh
User=dataprepper
Group=dataprepper
 
StandardOutput=journal
StandardError=inherit
  
# Service restart - 5 times with an interval of 30 seconds for 200 seconds
Restart=on-failure
RestartSec=30
StartLimitInterval=200
StartLimitBurst=5
  
# Unlimited memory lock for service
LimitMEMLOCK=infinity
# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=65535
# Specifies the maximum number of processes
LimitNPROC=4096
# Specifies the maximum size of virtual memory
LimitAS=infinity
# Specifies the maximum file size
LimitFSIZE=infinity
# Disable timeout logic and wait until process is stopped
TimeoutStopSec=0
# SIGTERM signal is used to stop the Java process
KillSignal=SIGTERM
# Send the signal only to the JVM rather than its control group
KillMode=process
# Java process is never killed
SendSIGKILL=no
# When a JVM receives a SIGTERM signal it exits with code 143
SuccessExitStatus=143
# Allow a slow startup before the systemd notifier module kicks in to extend the timeout
TimeoutStartSec=75
  
[Install]
WantedBy=multi-user.target
EOF
"

Заполнение конфигурационных файлов#

Для конфигурации DataPrepper использует следующие файлы, которые находятся в /etc/dataprepper:

Внимание!

В данном руководстве приведен пример для конфигурации пайплайна с Kafka в качестве source и opensearch в качестве sink.

Конфигурация сервера#

Для конфигурации сервера в файле /etc/dataprepper/data-prepper-config.yaml необходимо переопределить значения на свои для следующих параметров:

Пример:

extensions:
  vault_driver:
    address: http://secman-host:8200
    namespace: YOUR_NAMESPACEV
    role_id: 1111111111-11111-11111-11111-1111111111
    wrapped_token:
      path: /etc/dataprepper/secman/approle_wrapped_secret_id
    pki_mount_path: PKI
    kv_mount_path: /PATH/TO/YOUR/SRHX/KV

Конфигурация dataprepper пайплайна#

Для конфигурации пайплайна в файле /etc/dataprepper/pipelines.yaml необходимо переопределить значения на свои для следующих параметров:

Пример заполненного pipelines.yaml:

simple-sample-pipeline:
  source:
    kafka:
      identification_algorithm: "Алгоритм идентификации конечной точки для проверки имени хоста сервера с помощью сертификата сервера HTTPS , по умолчанию пустое значение"
      vault_driver:
        encryption:
          cipher_suites: "<ваше значение> (по умолчанию TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256)"
          keystore_file_path: "путь на диске, куда сохранять keystore"
          truststore_file_path: "путь на диске, куда сохранять truststore"
          pki:
            role: "навзвание PKI роли для выпуска сертификатов"
            method: "метод запроса сертификатов(fetch или issue), по умолчанию fetch"
            cert_format: "формат сертификата, по умолчанию jks"
            cn_cert: "common name сертификата"
            alt_names: "список, который будет добавлен в поле alt_names сертификата"
            path: "путь на диске, куда сохранять полученный сертификат"
          kv: # если необходимо взять трасты из кв движка
            kv_dir: "директория в KV с ключами, где находятся трасты для выкачивания"
            cert_key: "ключ в директории 'kv_dir', из которого взять сертификат"
            pass_key: "ключ в директории 'kv_dir', из которого взять пароль для сертификата"
            cert_format: "формат сертификата, который будет получен. По умолчанию jks"
            path: "путь на диске, куда сохранять скачанный сертификат"
  sink:
    - opensearch:
        vault_driver:
          authentication:
            kv_dir: "директория в KV с ключами, где находятся креды для аутентификации"
            user_key: "ключ в директории 'kv_dir', из которого взять имя пользователя"
            pass_key: "ключ в директории 'kv_dir', из которого взять пароль пользователя"
          encryption:
            cipher_suites: "<ваше значение> (по умолчанию TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256)"
            keystore_file_path: "путь на диске, куда сохранять keystore"
            truststore_file_path: "путь на диске, куда сохранять truststore"
            pki:
              role: "навзвание PKI роли для выпуска сертификатов"
              method: "метод доставания сертов(fetch or issue), по умолчанию fetch"
              cert_format: "формат сертификата, который будет получен. По умолчанию jks"
              cn_cert: "common name сертификата"
              alt_names: "список, который будет добавлен в поле alt_names сертификата"
              path: "путь на диске, куда сохранять полученный сертификат"
            kv: # если необходимо взять трасты из кв движка
              kv_dir: "директория в KV с ключами, где находятся трасты для выкачивания"
              cert_key: "ключ в директории 'kv_dir', из которого взять сертификат"
              pass_key: "ключ в директории 'kv_dir', из которого взять пароль для сертификата"
              cert_format: "формат сертификата, который будет получен. По умолчанию jks"
              path: "путь на диске, куда сохранять скачанный сертификат"

Создание файла с secman wrapped token#

Для работы dataprepper с secman необходимо создать файл /etc/dataprepper/secman/approle_wrapped_secret_id и поместить в него wrapped-токен, полученный для approle из Secman:

sudo su - dpadmin -c "cat > /etc/dataprepper/usertoken/approle_wrapped_secret_id<<EOF 
YOUR_SECMAN_TOKEN_HERE
EOF"

Включение systemd сервиса и его автозапуска#

Чтобы включить сервис systemd и его автозапуск, выполните команду:

sudo systemctl daemon-reload
sudo systemctl enable dataprepper
sudo systemctl start dataprepper

Параметры конфигурации целевого пайплайна source: kafka/sink:PVS#

Пайплайны определены в файле конфигурации YAML.

Каждый пайплайн может содержать следующие элементы:

Kafka source parameters#

Topics fields#

Secman encryption#

PKI fields

KV fields