Руководство по установке#

В руководстве приведены инструкции по установке компонента Прикладной роутер (APPR) продукта Platform V Application Sharding (ASD). Документ предназначен для администраторов, выполняющих установку, настройку и сопровождение компонента APPR.

Этот документ содержит названия переменных, которые одинаково применимы для различных сред контейнеризации, указанных в системных требованиях. Имя переменной не определяет конкретную среду контейнеризации.

Системные требования#

Настройки безопасности окружения и перечень платформенных (дополнительных внешних) продуктов, используемых для установки, настройки и контроля в конечной информационной системе (далее — ИС), выбираются клиентом при разработке конечной ИС, исходя из характера обрабатываемой в ней информации и иных требований информационной безопасности (далее — ИБ), предъявляемых к ней.

Системное программное обеспечение#

Ниже представлены категории системного программного обеспечения (далее — ПО), которые обязательны или опциональны для установки, настройки, контроля и функционирования компонента APPR. В каждой категории перечислены все поддерживаемые продукты сторонних правообладателей. Отдельно обозначены варианты, которые рекомендует АО «СберТех» (маркировка «Рекомендовано» в столбце «Продукт, функциональная совместимость с которым подтверждена»). Клиенту необходимо выбрать один из продуктов в каждой категории, исходя из условий использования конечной ИС.

Примечание:

*

• Да — категория ПО обязательна для функционирования сервиса (это означает, что сервис не может выполнять свои основные функции без установки данной категории ПО).

• Нет — категория ПО необязательна для функционирования сервиса (это означает, что сервис может выполнять свои основные функции без установки данной категории ПО).

**

• Рекомендовано — рекомендованный правообладателем АО «СберТех» продукт.

• Опционально — альтернативный по отношению к рекомендованному правообладателем АО «СберТех» продукт.

Платформенные зависимости#

Для настройки, контроля и функционирования компонента APPR реализована интеграция с программными продуктами, правообладателем которых является АО «СберТех»:

Примечание:

***

• Да — компонент или продукт необходим для функционирования сервиса (это означает, что сервис не может выполнять свои основные функции без установки данного компонента).

• Нет — необязательный для функционирования сервиса компонент или продукт (это означает, что сервис может выполнять свои основные функции без установки данного компонента).

**** Рекомендуется установка программного продукта, правообладателем которого является АО «СберТех», при этом не исключена возможность (допускается правообладателем) использования аналога других производителей. Аналоги, в отношении которых продукт успешно прошел испытания и подтвердил свою работоспособность, указаны в разделе «Системное программное обеспечение».

У компонента APPR реализована интеграция со следующими компонентами из состава продукта:

Аппаратные требования#

Для установки компонента требуется следующая конфигурация аппаратного обеспечения:

Квота на проект: 3.65 CPU, 2.7 ГБ.

• Количество pod APPR на один элемент развертывания (deployment unit): 2

• Количество pod Ingress на один элемент развертывания (deployment unit): 1

• Количество pod Egress на один элемент развертывания (deployment unit): 1

Характеристики sidecar-контейнеров:

• sidecar istio-proxy: 0.3 CPU, 0.256 ГБ

• sidecar fluent-bit: 0.2 CPU, 0.2 ГБ

Квота на pod c учетом sidecar-контейнеров:

• модуль APPR: 1.5 CPU, 0.7 ГБ;

• модуль Ingress: 0.45 CPU, 0.8 ГБ;

• модуль Egress: 0.2 CPU, 0.5 ГБ;

Состав дистрибутива#

Архив с конфигурацией развертывания компонента#

Дистрибутив, содержащий конфигурационные файлы, необходимые для развертывания компонента.

Архив с бинарными артефактами компонента#

Дистрибутив, содержащий бинарные артефакты, необходимые для работы компонента.

Подготовка окружения#

Перед установкой дистрибутива с помощью CDJE:

• Проверьте соответствие CDJE актуальной версии скриптов CDJE и версии, указанной в дистрибутиве /package/conf/version.conf

• Проверьте наличие необходимых списков сценариев для запуска в списке сборки в Jenkins:

  • OPENSHIFT_INGRESS_EGRESS_DEPLOY

  • OPENSHIFT_DEPLOY

  • WAS_RUN_AUTOTEST

  • CLEANUP_FP_CONFIG

  • MIGRATION_FP_CONF

  • FP_CONF_CHECK

  • IMPORT_ALL_PARAMS

Настройки Istio, AUTH и необходимые сертификаты указываются с помощью CDJE. Подробная информация указана в документации компонента CDJE.

Примечание: в списке сборки в Jenkins может быть список сценариев для запуска SHIFT_OK, который включает в себя все вышеописанные списки сценариев для запуска.

Установка#

Компонент APPR не имеет собственных/встроенных механизмов обеспечения информационной безопасности и не предъявляет каких-либо требований к внешним соответствующим механизмам, в связи с чем они должны настраиваться и эксплуатироваться в соответствии со своей эксплуатационной документацией (см. Руководства по установке и Руководства по использованию соответствующих функциональных подсистем) и с оглядкой на уровень конфиденциальности обрабатываемой информации, требования внутренних документов, отраслевые/национальные/международные стандарты, требования уполномоченных регуляторов, национальное законодательство и лучшие практики. В процессе установки компонента APPR нет параметров настройки, доступных для изменения и связанных с внешними системами обеспечения информационной безопасности.

Установка и настройка программных и программно-аппаратных средств, в том числе внешних: операционной системы, другого системного программного обеспечения (необходимые сервисы, используемые сетевые порты, права пользователей, права доступа к файлам и каталогам, аудит и т.п.), выбранных в процессе создания конечной информационной системы, должна осуществляться в соответствии с документацией к этим средствам.

Порядок действий по установке на K8s компонента APPR в версии D-01.000.00-XXX средствами CDJE.

Для компонента APPR для аутентификации через компонент AUTH в IAM необходимо получить публичный сертификат Keycloak. Для получения публичного сертификата KeyCloak необходимо выполнить GET-запрос „/auth/realms/PlatformAuth“ на хост KeyCloak. В полученном json-ответе необходимо скопировать поле «x5c», в котором содержится публичный сертификат для верификации подписи JWT-токена.

Для взаимодействия с сервисом AUDT (Audit proxy) используя механизм TLS/mTLS необходимо запросить cертификаты для AUDT.

Сертификаты для Ingress, Egress и Kafka являются общеплатформенными.

Для взаимодействия с компонентом CFGA необходимости в ручной настройки нет, интеграция осуществляется на стороне CFGA.

Автоматизированная установка сервиса с использованием CDJE#

Для развертывания сервиса воспользуйтесь инструкцией по автоматизированной установке сервиса с использованием компонента CDJE.

Перед началом установки убедитесь, что выполнена подготовка окружения.

Миграция параметров#

Предварительно необходимо выполнить миграцию параметров, для этого выполните следующие действия:

1. Запустите сборку.

2. Нажмите «Собрать с параметрами».

3. В открывшейся странице с параметрами для сборки выполните следующие действия:

   • Выберите SUBSYSTEM: APPLICATION_ROUTER

   • Выберите DISTRIB_VERSION: D—01.000.00-* (последнюю)

   • Выберите OSE_CLUSTERS: <Кластер, в котором создан проект для APPR>

   • Выберите версию продукта: branch <Релиз>

   • Выберите списки сценариев для запуска:

     • CLEANUP_FP_CONFIG

     • MIGRATION_FP_CONF

4. Нажмите «Собрать».

Убедиться, что установка прошла успешно. Статус сборки «SUCCESS». В репозитории конфигураций продукта созданы конфигурационные файлы.

Конфигурация Прикладного роутера#

Для конфигурации Прикладного роутера необходимо заполнить параметры в custom_property.conf.yml

* application_router.ose.ruleSetConfig - заменить значение default содержимым файла для конфигурирования правил
* опционально заполнить application_router.ose.targetGroupsConfig - на следующей строке после |- вставить содержимое файла для конфигурирования целевых групп
* опционально заполнить application_router.ose.indicesConfig - на следующей строке после |- вставить содержимое файла для конфигурирования индексов

Пример custom_property.conf.yml до изменений

# Конфигурация набора правил APPR, монтируется в ConfigMap; при значении 'default' создается одно правило /hello
application_router.ose.ruleSetConfig: |-
    default

# Конфигурация набора целевых групп APPR, монтируется в ConfigMap, если не пустое значение
application_router.ose.targetGroupsConfig: |-

# Конфигурация набора индексов APPR, монтируется в ConfigMap, если не пустое значение
application_router.ose.indicesConfig: |-

Пример custom_property.conf.yml после изменений

# Конфигурация набора правил APPR, монтируется в ConfigMap; при значении 'default' создается одно правило /hello
application_router.ose.ruleSetConfig: |-
    apiVersion: beta
    ruleSet:
      rules:
        - name: proxy_rule
          action: proxy
          conditions:
            - type: path
              pattern: /target/info
          targetGroup:
            type: static
            selector:
              name: target1
      defaultRule:
        action: static
        response:
          code: 404
          body: "ApplicationRouter new default rule"

# Конфигурация набора целевых групп APPR, монтируется в ConfigMap, если не пустое значение
application_router.ose.targetGroupsConfig: |-
    apiVersion: beta
    targetGroups:
      - name: tg1
        targets:
          - name: target1
            location: http://non-existing-target-1.sbrf.ru
          - name: target2
            location: http://non-existing-target-2.sbrf.ru

# Конфигурация набора индексов APPR, монтируется в ConfigMap, если не пустое значение
application_router.ose.indicesConfig: |-

Более подробно с конфигурацией правил, целевых групп, индексов Прикладного роутера можно ознакомиться в разделе «Конфигурации Прикладного роутера» документа Руководство по системному администрированию для компонента APPR.

Финальный этап установки#

Для установки сервиса с конфигурацией, настроенной в предыдущем шаге:

1. Запустите сборку.

2. Нажмите «Собрать с параметрами».

3. В открывшейся странице с параметрами для сборки выполните следующие действия:

   • Выберите SUBSYSTEM: APPLICATION_ROUTER

   • Выберите DISTRIB_VERSION: D—01.000.00-* (последнюю)

   • Выберите OSE_CLUSTERS: <Кластер, в котором создан проект для APPR>

   • Выберите версию продукта: branch <Релиз>

   • Выберите списки сценариев для запуска:

     • OPENSHIFT_INGRESS_EGRESS_DEPLOY

     • OPENSHIFT_DEPLOY

     • WAS_RUN_AUTOTEST

     • FP_CONF_CHECK

     • IMPORT_ALL_PARAMS

4. Нажмите «Собрать».

Настройка интеграции#

Настройка интеграции с компонентом CFGA#

Настройка интеграции с компонентом RTEF#

После установки дистрибутива APPR в АРМ CFGA найдите и настройте параметры:

• approuter.channel.sector.mapping — соответствие наименований каналов и кодов узлов топологии;

• approuter.destinationNodes — список destinationNodes для сектора;

• approuter.access.points — точки доступа;

• ufs.baseurl.ufs_routing — URL доступа к компоненту Маршрутизация (RTEF).

Для настройки параметра approuter.channel.sector.mapping в значении параметра укажите соответствие наименований каналов и кодов узлов топологии в формате "<nodeCode>":"<channel>", где:

• <nodeCode> — код узла топологии;

• <channel> — код канала.

Для настройки параметра approuter.destinationNodes укажите для каждого кода узла топологии (nodeCode) значение nodePath узла топологии.

Для настройки параметра approuter.access.points в значении параметра укажите URL входа в систему для каждого nodePath узла топологии в формате <nodePath>::<url>, где:

• <nodePath> — значение nodePath узла топологии;

• <url> — URL, на который необходимо осуществить перенаправление пользователя.

Для настройки параметра ufs.baseurl.ufs_routing в значении параметра укажите URL доступа к компоненту Маршрутизация (RTEF):

• при первичной установке в соответствии с глобальным параметром конфигурации среды global.platform.ufs.baseurl.ufs_routing;

• при обновлении параметра с помощью АРМ CFGA.

Настройка интеграции с компонентом AUDT#

Ниже описана процедура интеграции с рекомендованным АО «СберТех» компонентом Аудит (AUDT) продукта Platform V Audit SE (AUD). На усмотрение пользователя может быть настроена интеграция с аналогичным по функциональности продуктом от других производителей.

Для настройки взаимодействия с компонентом AUDT по REST API в АРМ CFGA найдите и настройте параметр:

• ufs.baseurl.audit2 - хост сервиса AUDT.

Настройка интеграции с компонентом MONA#

Ниже описана процедура интеграции с рекомендованным АО «СберТех» компонентом Объединенный мониторинг Unimon (MONA) продукта Platform V Monitor (OPM). На усмотрение пользователя может быть настроена интеграция с аналогичным по функциональности продуктом от других производителей.

Cо стороны сервиса APPR для интеграции с компонентом MONA никаких действий не требуется. Для настройки интеграции необходимо для компонента MONA указать:

• хост сервиса APPR;

• значение порта сбора метрик port=8081;

• path для сбора метрик path=/metrics.

Настройка интеграции с компонентом LOGA#

Ниже описана процедура интеграции с рекомендованным АО «СберТех» компонентом Журналирование (LOGA) продукта Platform V Monitor (OPM). На усмотрение пользователя может быть настроена интеграция с аналогичным по функциональности продуктом от других производителей.

Для конфигурирования взаимодействия с компонентом LOGA необходимо в файле application-router.conf настроить следующие параметры:

Настройка интеграции с компонентом AUTH#

Ниже описана процедура интеграции с рекомендованным АО «СберТех» компонентом IAM Proxy (AUTH) продукта Platform V IAM SE (IAM). На усмотрение пользователя может быть настроена интеграция с аналогичным по функциональности продуктом от других производителей.

Для конфигурирования взаимодействия с компонентом AUTH необходимо в файле application-router.conf настроить следующие параметры:

Помимо конфигурации данных параметров, в файле custom_property.conf.yml указать для параметра application_router_iam_public_key значение true для добавления публичного сертификата iam-public-key.pem в контейнер компонента APPR.

Настройка интеграции с компонентом OTTS#

В репозиториях с конфигурацией компонента Прикладной роутер (APPR) необходимо заполнить следующие параметры.

Файл конфигурации application-router.istio.all.conf (дистрибутив CI90000227_appr-distrib):

Обновление#

1. Очистите ранее созданные ресурсы K8S согласно процедуре, описанной в разделе «Удаление».

2. Установите новую версию дистрибутива согласно процедуре, описанной в разделе «Установка».

Удаление#

Для удаления компонента APPR необходимо провести очистку всех ресурсов K8S, кроме Secret.

Удаляемые ресурсы можно отобрать по признаку наличия следующих меток (label):

• app: application-router-r42

• deploymentconfig: application-router-r42

Соответствующая команда для удаления ресурсов компонента APPR будет выглядеть так:

kubectl delete deployments,services -l app=application-router-r42,deploymentconfig=application-router-r42

Проверка работоспособности#

Для проверки работоспособности перейдите по ссылкам:

http://<location>/application-router/environment/product, где <location> — значение location ingress route;

Если контекст приложения создался правильно, в открытом окне отражается запись, содержащая подстроку следующего формата:

{
  "success":true,
  "body": {
    "subsystem":"APPLICATION_ROUTER",
    "channel":"ALL",
    "deploymentUnit":"application-router",
    "version":"<Версия>",
    "distribVersion":"D-01.000.00-*(последняя)",
    "platform":"<Версия Platform V>",
    "serverIp":"<IP-адрес сервера>",
    "release":"<Релиз>"
  }
}

В ответе обратите внимание только на параметры:

• "success":true

• "subsystem":"APPLICATION_ROUTER"

• "distribVersion":"D-01.000.00-*"

http://<location>/application-router/healthcheck, где <location> — значение location ingress route.

Если контекст приложения создался правильно, в открытом окне отражается запись, содержащая подстроку следующего формата:

{
  "success": true,
  "body": "app is up!"
}

В ответе обратите внимание только на параметры:

• "success":true;

Если параметры ответов на запросы заполнены корректными данными, установка прошла успешно.

Вызвать указанные сервисы можно с помощью curl:

curl -X GET http://<location>/application-router/environment/product

curl -X GET http://<location>/application-router/healthcheck

Чек-лист проверки работоспособности интеграций#

При интеграции сервиса с компонентами работоспособность APPR проверяется по приведенным ниже инструкциям.

Команда для проверки интеграций#

Подходит для проверки интеграций с компонентами AUTH, CFGA, RTEF, MONA, AUDT, OTTS. Проверка интеграции с компонентом LOGA происходит без выполнения данной команды посредством изменения уровня записи событий системного журнала в CFGA.

curl --request GET 'http://<location>/ufs-user-entry/api/v1/entry/channel/<channel>/info' \
--header 'Authorization: <JWT>' \
--header 'Content-Type: application/json'

Где:

• <location> — значение location ingress route;

• <channel> — значение канала для входа;

• <JWT> — JWT-токен, сформированный компонентом AUTH для пользователя.

Успешный ответ#

{
  "success": true,
  "body": {
  "url": "https://<access-point-location>/",
  "httpStatus": 200
  }
}

Где:

• <access-point-location> — URL, куда надо перенаправить пользователя.

Неуспешный ответ#

{
  "success": false,
  "body": {
    "uuid": "<uuid>",
    "code": "",
    "system": "<system>",
    "title": "",
    "text": "<text>"
  }
}

Где:

• <uuid> — идентификатор ошибки;

• <system> - код SUBSYSTEM компонента, вернувшего ошибку;

• <text> - текст ошибки.

Проверка интеграции с компонентом AUTH#

Проверка правильной подписи JWT-токена, полученного от AUTH:

Проверка блокирования запросов с невалидным JWT-токеном, полученным от AUTH:

Проверка интеграции с компонентом CFGA#

Проверка обновления параметров APPR по их изменению в АРМ CFGA:

Проверка интеграции с компонентом LOGA#

Проверка записи и обновления уровня событий системного журнала (из раздела «События системного журнала» документа «Руководство по системному администрированию» для компонента APPR) в АРМ LOGA:

Проверка интеграции с компонентом RTEF#

Проверка динамической маршрутизации пользователя в соответствии со стратегией, определенной в компоненте RTEF:

Проверка интеграции с компонентом MONA#

Проверка обновления метрик в АРМ MONA:

Проверка интеграции с компонентом AUDT#

Проверка отправки событий аудита в АРМ AUDT:

Откат#

Откат к предыдущей версии компонента APPR не предусмотрен, так как это первая версия продукта ASD.

Часто встречающиеся проблемы и пути их устранения#

При ошибке установки в Kubernetes посмотрите лог сборки в Jenkins. Если ошибка связана с настройками, произведите правки в common репозитории CDJE или репозитории с конфигурацией APPR. Если необходимо внести изменения в конфигурацию и пересобрать дистрибутив, обратитесь к команде разработки APPR.

При ошибке импорта в компонентах LOGA, CFGA проверьте корректность настройки URL для импорта в common репозитории CDJE и работоспособность самих компонентов.

Чек-лист валидации установки#