Системные требования#

Настройки безопасности окружения и перечень платформенных (дополнительных внешних) продуктов, используемых для установки, настройки и контроля в конечной информационной системе (далее — ИС), выбираются клиентом при разработке конечной ИС, исходя из характера обрабатываемой в ней информации и иных требований информационной безопасности (далее — ИБ), предъявляемых к ней.

Системное программное обеспечение#

Ниже представлены категории системного программного обеспечения (далее — ПО), которые обязательны или опциональны для установки, настройки, контроля и функционирования компонента. В каждой категории перечислены все поддерживаемые продукты сторонних правообладателей. Отдельно обозначены варианты, которые рекомендует АО «СберТех» (маркировка «Рекомендовано» в столбце «Продукт, функциональная совместимость с которым подтверждена»). Клиенту необходимо выбрать один из продуктов в каждой категории, исходя из условий использования конечной ИС.

Категория ПО

Обязательность установки*

Наименование ПО

Версия

Продукт, функциональная совместимость с которым подтверждена **

Назначение категории ПО

Операционная система

Да

ОС RedHat Enterprise Linux 7.7

8

Опционально

ОС контейнеров для запуска модулей компонента

Среда контейнеризации

Да

RedHat OpenShift

4.7

Опционально

Платформа контейнеризации для запуска компонентов сервиса

Средство контейнеризации

Да

Docker CE

19.0.3.8

Рекомендовано

Инструмент для автоматизации работы с контейнерами

Инструмент сборки, тестирования, развертывания контейнеризованных приложений

Да

Jenkins

2.319.3

Рекомендовано

Сервер автоматизации, используемый для внедрения непрерывной интеграции и непрерывной доставки (CI/CD) для проектов программного обеспечения

Java-машина

Да

OpenJDK

8 (1.8.0_191 и выше)

Рекомендовано

Окружение для работы модулей компонента

Программное обеспечение для сбора и перемещения больших объемов потоковых данных

Да

Apache Flume

1.9.0

Рекомендовано

ETL-сервис, который должен использоваться при формировании некоторых контейнеров в OpenShift.

Сервер приложений

Да

Nginx

1.20.1

Рекомендовано

Сервер для балансировки внешних и внутренних запросов между сервисами

Сервер приложений

Да

WildFly

23.0.2

Рекомендовано

Сервер для запуска пользовательского интерфейса Platform V Audit SE (AUD)

Браузер

Да

Яндекс.Браузер

19.10.3 и выше

Рекомендовано

Браузер для входа в UI

Браузер

Да

Браузер на основе Chromium

Любая актуальная версия

Опционально

Браузер для входа в UI

Брокер сообщений

Да

Apache Kafka

3.0.3-5.1.6

Рекомендовано.
Правообладателем АО "СберТех" также рекомендован брокер сообщений, основанный на Kafka - Platform V Corax (KFKA) 6.272.0. См. раздел "Платформенные зависимости"

Событийный обмен сообщениями между модулями компонента.

Система хранения данных

Да

Cloudera Manager (CDH)

6.3.1 (CDH 6.3.2)

Рекомендовано

Кластер для хранения данных о событиях, подлежащих аудиту

Инструмент управления проектом

Да

Apache Maven

3.8.2

Рекомендовано

Фреймворк для автоматизации сборки проектов на основе описания их структуры в файлах на языке POM

Сервис централизованного хранения репозиториев артефактов (хранилище артефактов)

Да

Nexus-Public

2.14.20-02

Рекомендовано

Интегрированная платформа для проксирования, хранения и управления зависимостями Java (Maven), образами, а также распространения ПО

Сервис централизованного хранения репозиториев исходного кода

Да

GitLab Community Edition

20.30.1

Рекомендовано

Хранение конфигураций при автоматизированной установке

Сервис интеграции и оркестрации микросервисов в облаке

Да

Platform V Synapse Service Mesh (SSM)

3.9.1

Рекомендовано.

Сервис интеграции микросервисов в облаке

Система управления секретами

Нет

Secret Management System

1.7.0

Рекомендовано

Система управления аутентификационными данными сервисных аккаунтов или учетных записей

Примечание:

*

  • Да — категория ПО обязательна для функционирования сервиса (это означает, что сервис не может выполнять свои основные функции без установки данной категории ПО).

  • Нет — категория ПО необязательна для функционирования сервиса (это означает, что сервис может выполнять свои основные функции без установки данной категории ПО).

**

  • Рекомендовано — рекомендованный правообладателем АО «СберТех» продукт.

  • Опционально — альтернативный по отношению к рекомендованному правообладателем АО «СберТех» продукт.

Платформенные зависимости#

Для настройки, контроля и функционирования компонента реализована интеграция с программными продуктами, правообладателем которых является АО «СберТех»:

Наименование продукта

Код

Версия продукта

Код и наименование компонента

Обязательность установки (да/нет)***

Описание

Аналог других производителей****

Platform V IAM SE

IAM

1.4.1 и выше

AUTH IAM Proxy

Да

Сервис выполняет функции аутентификации/авторизации запросов. Взаимодействует с AUTZ или другими провайдерами аутентификации/авторизации

С аналогами других производителей не тестировался.

Platform V IAM SE

IAM

1.4.1 и выше

AUTZ Объединённый сервис авторизации (ОСА)

Да

Сервис для авторизации доступа пользователей на основе проверки прав ролей и прав доступа, а также на основе атрибутов субъектов и объектов доступа.

Сервис успешно прошел испытания и подтвердил свою работоспособность с компонентом AUTH. С аналогами других производителей не тестировался.

Platform V DevopsTools

DOT

1.3 и выше

PILP Install_EIP

Нет

Сервис для автоматизации сборки и развертывания дистрибутивов отдельных функциональных приложений

С аналогами других производителей не тестировался.

Platform V Monitor

OPM

4.0.1 и выше

LOGA Журналирование

Нет

Сервис для хранения лог-файлов

Любой сервис сбора записей о событиях, совместимый с fluent-bit, например: Elasticsearch, InfluxDB.

Platform V Monitor

OPM

4.0.1 и выше

MONA Объединенный мониторинг Unimon

Нет

Сервис для сбора прикладных и инфраструктурных метрик и отправки их в целевую систему хранения.

Prometheus 2.21.0

Platform V Synapse Service Mesh

SSM

3.9.1 и выше

POLM Управление политиками

Да

Сервис для автоматизированной рассылки конфигураций политик управления трафиком, политик безопасности и прочих управляющих команд для сервисов IGEG (Граничный прокси) и SVPX (Сервисный прокси)

С аналогами других производителей не тестировался.

Platform V Synapse Service Mesh

SSM

3.9.1 и выше

SVPX Сервисный прокси

Да

Сервис для маршрутизации и обеспечения безопасности трафика между приложениями

С аналогами других производителей не тестировался.

Platform V Synapse Service Mesh

SSM

3.9.1 и выше

IGEG Граничный прокси

Да

Централизованный сервис для входа и выхода в сеть проекта Kubernetes в рамках интеграционных взаимодействий с другими АС

С аналогами других производителей не тестировался.

Platform V Backend

#BD

4.2.1 и выше

OTTS / One-Time-Password (OTP)/OTT

Нет

Сервис для аутентификации и авторизации межсервисных взаимодействий

Platform V Backend

#BD

4.2.1 и выше

CFGA / PACMAN

Да

Сервис для настройки параметров работы Platform V Audit SE (AUD)

Platform V Corax

KFK

5.1.7 и выше

KFKA

Нет

Брокер сообщений

Примечание:

***

  • Да — компонент или продукт необходим для функционирования сервиса (это означает, что сервис не может выполнять свои основные функции без установки данного компонента).

  • Нет — необязательный для функционирования сервиса компонент или продукт (это означает, что сервис может выполнять свои основные функции без установки данного компонента).

**** Рекомендуется установка программного продукта, правообладателем которого является АО «СберТех», при этом не исключена возможность (допускается правообладателем) использования аналога других производителей. Аналоги, в отношении которых продукт успешно прошел испытания и подтвердил свою работоспособность, указаны в разделе Системное программное обеспечение.

Аппаратные требования#

Ниже представлена типовая конфигурация окружения и инфраструктуры Platform V Audit SE (AUD). Дальнейшее руководство по настройке и установке будет опираться на приведенную структуру.

Для установки Platform V Audit SE (AUD) требуется следующая конфигурация аппаратного обеспечения:

Характеристики аппаратных элементов вычислительной инфраструктуры (серверов) Platform V Audit SE (AUD)

#

Элемент вычислительной инфраструктуры

Кол-во

CPU (core)

RAM, GB

Локальные диски, GB

Сетевые интерфейсы

1

Кластер OpenShift

1

10

32

-

1 x 10 GbE

2

Сервер транспортного кластера Kafka

3

4

16

250

1 x 10 GbE

3

Сервер кластера Cloudera Hadoop

6

4

64

500

1 x 10 GbE

4

Сервер БД для Cloudera

1

4

16

250

1 x 10 GbE

5

Сервер IPA Kerberos для Cloudera

1

4

16

150

1 x 1 GbE

6

Сервер WildFly для UI Platform V Audit SE (AUD)

2

4

16

150

1 x 1 GbE

Сайзинг

Квота на проект: зависит от входящего потока.

1 tps = 1 событие размером 1 КБ / 1 сек:

OSE/Kubernetes (квота audit-proxy) – 5 core CPU / 10 GB RAM – держит 960 tps.

Количество Pod на один элемент развертывания (deployment unit): 1

Для варианта установки в optional stack (OpenShift и Cloudera CDH) предусмотрено горизонтальное авто-масштабирование (Horizontal Pod Autoscaling). При росте нагрузки на процессорный ресурс до 70%, создаются новые Pods (от одного до ста).

Характеристики sidecar-контейнеров:

Название sidecar-контейнера

Необходимое количество ресурсов CPU (requests)

Рекомендуемый лимит на ресурс CPU (limits)

Необходимое количество памяти (requests)

Рекомендуемый лимит на ресурс памяти (limits)

Logger sidecar.
Подключается ко всем модулям Platform V Audit.

100m

200m

16Mi

32Mi

OTT Client sidecar.
Подключается только к Egress и Ingress.

900m

1000m

900Mi

1Gi

Istio sidecar.
Подключается ко всем модулям, кроме Egress и Ingress.

250m

300m

256Mi

512Mi

Vault agent sidecar.
Подключается ко всем модулям Platform V Audit.

250m

500m

64Mi

128Mi

Квота на pod c учетом sidecar-контейнеров:

Название pod c модулем

Необходимое количество ресурсов CPU (requests)

Рекомендуемый лимит на ресурс CPU (limits)

Необходимое количество памяти (requests)

Рекомендуемый лимит на ресурс памяти (limits)

audit-proxy (включает Logger sidecar, Vault Agent sidecar, Istio Envoy sidecar)

600m

1100m

980Mi

1160Mi

audit-divider (включает Logger sidecar, Vault Agent sidecar, Istio Envoy sidecar)

550m

1000m

380Mi

660Mi

Ingress gateway (включает Vault Agent sidecar, OTT Client sidecar)

1150m

1700m

414Mi

678Mi

Egress gateway (включает Vault Agent sidecar, OTT Client sidecar)

1000m

1500m

414Mi

678Mi

Рекомендации по настройке лимитов потребления CPU и RAM для Pod и встроенных в них sidecar также приведены в разделе Инструкции по настройке развертывания при помощи Install_EIP, пункт 15.

В случаях увеличения входящего потока событий на REST API или утилизации Pods audit-proxy более 70% по CPU или RAM рекомендуется* масштабировать Pods ingress/audit-proxy/egress в пропорциях 2/4/1. Конфигурация вида 2 pods ingress/4 pods audit-proxy/1 pod egress (5 core CPU/10 GB RAM)** способна выдерживать в среднем нагрузку 680 tps (входящих событий размером до 1 КБ) и до 960 tps при кратковременных пиковых нагрузках.

  • Данные рекомендации выработаны на основе изменений, выполненных при проведении внутреннего нагрузочного тестирования. На конкретном стенде настройки могут отличаться в зависимости от специфики поступающих данных и настроек инфраструктуры. Например, в случае если средний размер событий поступающих на audit-proxy превышает 1 КБ, требуется проанализировать потребление RAM и CPU на Pod audit-proxy, ingress, egress при реальной нагрузке и в случае неравномерной утилизации Pods и sidecar увеличить лимиты CPU и RAM для проблемных элементов развертывания (см. инструкцию по установке в разделе Инструкции по настройке развертывания при помощи Install_EIP, пункт 15).

** Общее количество ресурсов для namespace определяется исходя из общего количества поднятых Pod в этом namespace.

Группа серверов Cloudera#

Сервер - Назначение

Конфигурация

ОС

Требуемое ПО

Сервер 1 - Назначение: NameNode

CPU: 4 ядра ОЗУ: 64 ГБ Дисковая память: 500 ГБ Пропускная способность сетевого соединения: 10 Гбит

ОС: RHEL 7.7

ПО:
* Cloudera Manager 6.3.1 (CDH 6.3.2)
Роли Cloudera:
* HDFS HtpFS
* HDFS JournalNode
* Hive Gateway
* Cloudera Management
* Service Alert Publisher
* Cloudera Management Service Event Server
* Cloudera Management Service Host Monitor
* Cloudera Management Service Reports Manager
* Cloudera Management Service Monitor
* Oozie Server
* Spark Gateway
* ZooKeeper Server

Сервер 2 - Назначение: Secondary NameNode

CPU: 4 ядра ОЗУ: 64 ГБ Дисковая память: 500 ГБ Пропускная способность сетевого соединения: 10 Гбит

ОС: RHEL 7.7

ПО:
* Cloudera Manager 6.3.1 (CDH 6.3.2)
Роли Cloudera:
* HDFS HttpFS
* HDFS JournalNode
* Hive Gateway
* Hive Metastore Server
* Hive Server2
* Cloudera Management
* Service Alert Publisher
* Cloudera Management Service Event Server
* Cloudera Management Service Host Monitor
* Cloudera Management Service Reports Manager
* Cloudera Management Service Service Monitor
* Oozie Server
* Spark Gateway
* ZooKeeper Server

Сервер 3 - Назначение: Standby NameNode

CPU: 4 ядра ОЗУ: 64 ГБ Дисковая память: 500 ГБ Пропускная способность сетевого соединения: 10 Гбит

ОС: RHEL 7.7

ПО:
* Cloudera Manager 6.3.1 (CDH 6.3.2)
Роли Cloudera:
* HBase Thrift Server
* HBase Master
* HDFS Failover Controller
* HDFS HttpFS
* HDFS JournalNode
* HDFS NameNode
* Hive Gateway
* Hive Metastore Server
* Hue Server
* Spark Gateway
* YARN (MR2 Included) ResourceManager
* ZooKeeper Server

Сервер 4 - Назначение: DataNode

CPU: 4 ядра ОЗУ: 64 ГБ Дисковая память: 500 ГБ Пропускная способность сетевого соединения: 10 Гбит

ОС: RHEL 7.7

ПО:
* Cloudera Manager 6.3.1 (CDH 6.3.2)
Роли Cloudera:
* HDFS DataNode
* HBase RegionServer
* Solr Server
* Flume Agent
* Hive Gateway
* Spark Gateway
* Spark History Server
* YARN (MR2 Included) NodeManager

Сервер 5 - Назначение: DataNode

CPU: 4 ядра ОЗУ: 64 ГБ Дисковая память: 500 ГБ Пропускная способность сетевого соединения: 10 Гбит

ОС: RHEL 7.7

ПО:
* Cloudera Manager 6.3.1 (CDH 6.3.2)
Роли Cloudera:
* HDFS DataNode
* HBase RegionServer
* Solr Server
* Flume Agent
* Hive Gateway
* Spark Gateway
* Spark History Server
* YARN (MR2 Included) NodeManager

Сервер 6 - Назначение: DataNode

CPU: 4 ядра ОЗУ: 64 ГБ Дисковая память: 500 ГБ Пропускная способность сетевого соединения: 10 Гбит

ОС: RHEL 7.7

ПО:
* Cloudera Manager 6.3.1 (CDH 6.3.2)
Роли Cloudera:
* HDFS DataNode
* HBase RegionServer
* Solr Server
* Flume Agent
* Hive Gateway
* Spark Gateway
* Spark History Server
* YARN (MR2 Included) NodeManager

Сервер БД для Cloudera#

Сервер - Назначение

Конфигурация

ОС

Требуемое ПО

Сервер PostgreSQL - для БД

CPU: 4 ядра ОЗУ: 16 ГБ Дисковая память: 250 ГБ Пропускная способность сетевого соединения: 10 Гбит

ОС: RHEL 7.7

ПО: * PostgreSQL

Сервер IPA для Cloudera#

Сервер

Конфигурация

Требуемое ПО

Сервер Kerberos

CPU: 4 ядра ОЗУ: 16 ГБ Дисковая память: 150 ГБ Пропускная способность сетевого соединения: 1 Гбит ОС: RHEL 7.7

* Red Hat Free IPA

Группа серверов Kafka#

Раскладка инфраструктуры идентична на всех машинах.

Сервер

Конфигурация

Требуемое ПО

Серверы 1, 2, 3

CPU: 4 ядра ОЗУ: 16 ГБ Дисковая память: 250 ГБ Пропускная способность сетевого соединения: 10 Гбит ОС: RHEL 7.7

* Apache Kafka 2.x или Platform V Corax (KFK) 6.272.0

Группа серверов WildFly#

Раскладка инфраструктуры идентична на всех машинах.

Сервер

Конфигурация

Требуемое ПО

Серверы 1, 2

CPU: 4 ядра ОЗУ: 16 ГБ Дисковая память: 150 ГБ Пропускная способность сетевого соединения: 1 Гбит ОС: RHEL 7.7

* WildFly 23.0.2

Кластер OpenShift#

Требуется namespace в кластере OpenShift с мощностями 10 CPU 32 GB RAM для размещения в нем proxy-приложения Platform V Audit SE (AUD), а так же сервер docker registry для публикации образа для docker-контейнера.

Рабочее место для пользовательского интерфейса#

Для работы в пользовательском интерфейсе Platform V Audit SE (AUD) (в виде веб-приложения) необходимо использовать Яндекс.Браузер 19.10.3 и выше, либо браузер на основе Chromium, любой актуальной версии.