Установка в рамках микросервисной архитектуры#

В СУБД Pangolin возможно запускать докер-образы компонентов продукта в кластерных конфигурациях с одним главным узлом и произвольным числом узлов реплицирования. Для этого используются различные системы оркестрации, такие как Kubernetes (DropAPP) и docker-compose. Решение позволяет создавать многоконтейнерные приложения, где роль кластера базы данных берет на себя Pangolin DB, а управление пулом соединений обеспечивает Pangolin Pooler.

Docker-образ СУБД Pangolin#

По требованию имеется возможность запросить Docker-образ Pangolin на одной из двух ОС - SberLinux OS Server 9 или РЕД ОС 7.3.2 и 8.

Docker-образ может использоваться:

  • разработчиком АС для ускорения и упрощения процесса разработки;

  • пользователями, которые хотят познакомиться с Platform V Pangolin DB;

  • пользователями других облачных провайдеров.

Запуск Docker-образа Pangolin DB#

Примечание:

Имеется возможность использовать файл с переменными в формате key=value для минимизации заполнения манифестов запуска.

Внимание!

Docker-образ Pangolin DB работает только с UID 26.

Docker образ имеет стандартные значения для переменных окружения:

  • PGDATA=/pgdata/data;

  • PG_LICENSE_PATH=/opt/pangolin/license.json;

  • POSTGRES_PASSWORD=;

  • PANGOLIN_LIC_DATA=.

И следующие предустановленные параметры в файле postgresql.conf:

# Default settings in postgresql.conf template
port = '5433'
listen_addresses = '*'
authentication_proxy = 1
authentication_port = 5544
auth_activity_period = 60
enabled_extra_auth_methods ='trust,scram-sha-256'
psql_encrypt_password = 'on'
password_encryption = 'scram-sha-256'
pgaudit.log = 'ddl, role, connection, misc_set, protection'
autovacuum_work_mem = '-1'
effective_cache_size = '4GB'
maintenance_work_mem = '64MB'
max_connections = '300'
max_parallel_workers = '8'
max_parallel_workers_per_gather = '2'
max_prepared_transactions = '0'
max_worker_processes = '10'
timezone = 'Europe/Moscow'
autovacuum_max_workers = '3'
shared_buffers = '128MB'
work_mem = '4MB'
pg_plugins_path = '/usr/pangolin/lib'
# Features to enable
shared_preload_libraries = 'auto_explain,pg_stat_statements,pg_cron,pg_hint_plan,pg_outline'
# Included user configuration files
include_dir '/user_conf.d'

Файл pg_hba.conf имеет следующую стандартную настройку для внешних подключений:

host all all all scram-sha-256

Внимание

Для запуска контейнера с образом Pangolin DB укажите переменные окружения — пароль POSTGRES_PASSWORD и данные лицензии.

Лицензию можно передать двумя способами:

  1. Через переменную PANGOLIN_LIC_DATA, в JSON-формате, например:

    '{ "license" : { "end_date" : "xxx", "licensee" : "xxx", "type" : "xx" }, "sign" : "...{хеш}…"}'

  2. Через значение volume. Для этого необходимо файл лицензии в JSON-формате передать по пути стандартного расположения этого файла внутри контейнера (например, -v /path/to/license.json:/opt/pangolin/license.json). Пример команды запуска:

    docker run --name pangolin -e POSTGRES_PASSWORD=12345678 -v /path/to/license.json:/opt/pangolin/license.json -d pangolin-DB-sberlinux9:6.5.0

Активация функциональностей СУБД Pangolin#

Начиная с версии 6.4.0, в Docker-образе включены следующие функциональности, не требующие конфигурирования:

  • маскирование парольной информации в запросах с указанием паролей;

  • очистка высвобождаемого дискового пространства в процессе работы СУБД;

  • контроль целостности конфигурации и объектов БД;

  • контроль загрузки динамических библиотек с проверкой контрольных сумм;

  • контроль использования процедурных языков;

  • глобальные индексы и глобальные констрейнты на партиционированные таблицы;

  • 64-битные идентификаторы транзакции;

  • параметры управления быстрыми блокировками;

  • нативное интервальное партиционирование.

Пользователю доступны преднастроенные функциональные возможности, которые активируются специальным ключом (2 столбец) при старте контейнера:

Наименование функциональности

Ключ активации

Применяемые конфигурационные параметры

Применяемые sql-скрипты

Включение оптимизации под работу с 1с (функциональность может быть активирована только при первом запуске образа с первичной инициализацией каталога базы данных для установки русской локали)

enable_1c_support

autovacuum = „on“
max_locks_per_transaction = „256“;
synchronous_commit = „off“;
row_security = „False“;
temp_buffers = „256MB“;
bgwriter_delay = „20ms“;
bgwriter_lru_multiplier = „4.0“;
bgwriter_lru_maxpages = „400“;
autovacuum_max_workers = „4“;
autovacuum_naptime = „20s“;
from_collapse_limit = „8“;
join_collapse_limit = „8“;
geqo = „on“;
geqo_threshold = „12“;
standard_conforming_strings = „off“;
escape_string_warning = „off“;
plantuner.fix_empty_table = „on“;
online_analyze.enable = „off“;
online_analyze.table_type = „temporary“;
online_analyze.verbose = „off“;
online_analyze.threshold = „50“;
online_analyze.scale_factor = „0.1“;
online_analyze.local_tracking = „on“;
online_analyze.min_interval = „10000“;
shared_preload_libraries = „…fasttrun,fulleq,mchar,online_analyze,plantuner…“

Включение расширения pg_stat_kcache (Инструменты диагностики и анализа)

pg_stat_kcache

pg_stat_kcache.linux_hz = „-1“
shared_preload_libraries = „…,pg_stat_kcache,…“

Включение маскирования запросов

masking_mode

masking_mode = „full“

Включение трассировки сессий (Инструменты диагностики и анализа)

session_tracing

session_tracing_enable = „True“;
session_tracing_file_limit = „-1“;
session_tracing_default_path = „$PGDATA/tracing/“;
session_tracing_default_level = „0“;
session_tracing_roles = „“

Включение анализа производительности (Инструменты диагностики и анализа)

performance_insights

performance_insights.enable = „True“;
performance_insights.masking = „True“;
performance_insights.sampling_enable = „True“;
performance_insights.sampling_period = „5s“;
performance_insights.num_samples_in_ram = „12“;
performance_insights.num_samples_in_files = „17280“

Включение расширения pg_profile в БД postgres, в схеме PUBLIC

pg_profile

pg_profile.topn = „20“;
pg_profile.max_sample_age = „7“;
pg_profile.track_sample_timings = „off“

DO
$do$
BEGIN
IF EXISTS (
SELECT FROM pg_catalog.pg_roles
WHERE rolname = „profile_tuz“) THEN
RAISE NOTICE „Role «profile_tuz» already exists. Skipping.“;
ELSE
CREATE USER «profile_tuz» WITH ENCRYPTED PASSWORD „profiletuzPasssupertronG1212“ INHERIT VALID UNTIL „infinity“ CONNECTION LIMIT 5;
END IF;
END
$do$;

GRANT SELECT ON pg_nblocks TO «profile_tuz»;
GRANT EXECUTE ON FUNCTION get_nblocks TO «profile_tuz»;
GRANT EXECUTE ON FUNCTION get_nblocks_all TO «profile_tuz»;

CREATE EXTENSION IF NOT EXISTS «dblink» WITH SCHEMA «public»;
CREATE EXTENSION IF NOT EXISTS «plpgsql» WITH SCHEMA «pg_catalog»;
CREATE EXTENSION IF NOT EXISTS»pg_stat_statements» WITH SCHEMA «public»;
CREATE EXTENSION IF NOT EXISTS «pg_cron» WITH SCHEMA «public»;

– create schema for using with extension pg_profile
CREATE SCHEMA IF NOT EXISTS «pgse_profile» AUTHORIZATION :user;
COMMENT ON SCHEMA pgse_profile IS „Schema for pgse_profile extension only“;
– create pg_profile extension
CREATE EXTENSION IF NOT EXISTS «pg_profile» WITH SCHEMA «pgse_profile»;

GRANT USAGE ON SCHEMA pgse_profile, public TO «profile_tuz»;
GRANT pg_read_all_stats TO «profile_tuz»;
GRANT EXECUTE ON FUNCTION public.pg_stat_statements_reset TO «profile_tuz»;
GRANT ALL ON ALL TABLES IN SCHEMA public TO «profile_tuz»;
GRANT SELECT, USAGE ON ALL sequences IN SCHEMA public TO «profile_tuz»;
GRANT EXECUTE ON ALL functions IN SCHEMA public TO «profile_tuz»;
GRANT ALL ON ALL tables IN SCHEMA pgse_profile TO «profile_tuz»;
GRANT SELECT, USAGE ON ALL sequences IN SCHEMA pgse_profile TO «profile_tuz»;
GRANT EXECUTE ON ALL functions IN SCHEMA pgse_profile TO «profile_tuz»;
GRANT USAGE ON TYPE public.dblink_pkey_results TO «profile_tuz»;

– set cron job settings
SELECT pgse_profile.drop_server(„local“);SELECT pgse_profile.create_server(„local“, „dbname=postgres host=127.0.0.1 port=5433 user=profile_tuz“);

DO
LANGUAGE plpgsql
$$
DECLARE r record;
BEGIN
FOR r IN SELECT table_schema, table_name
FROM information_schema.tables
WHERE table_schema = „pgse_profile“
LOOP
EXECUTE FORMAT(„ALTER TABLE %I.%I OWNER TO profile_tuz;“, r.table_schema, r.table_name);
END LOOP;
END
$$;

SELECT CASE WHEN NOT EXISTS(SELECT jobid from cron.job where command like „%pgse_profile.take_sample%“) THEN (SELECT cron.schedule(„0,30 * * * *“, „SELECT pgse_profile.take_sample()“)) END;

UPDATE cron.job
SET database=“postgres“, username=“profile_tuz“
WHERE jobid = (
SELECT max(rownum)
FROM (
SELECT ctid, row_number() OVER () AS rownum, jobid
FROM cron.job
WHERE command=“SELECT pgse_profile.take_sample()“
) AS subquery
);
Если включено расширение pg_stat_kcache, дополнительно выполняется:
GRANT EXECUTE ON FUNCTION public.pg_stat_kcache_reset TO «profile_tuz»;
GRANT EXECUTE ON FUNCTION public.pg_stat_kcache TO «profile_tuz»;
GRANT SELECT ON public.pg_stat_kcache TO «profile_tuz»;
GRANT SELECT ON public.pg_stat_kcache_detail TO «profile_tuz»;

Включение ротации паролей

rotate_password

rotate_password.num_rounds = '20'

CREATE EXTENSION IF NOT EXISTS «psql_rotate_password» WITH SCHEMA «public»;

Пример:

docker run --name pangolin -e enable_1c_support=true -e POSTGRES_PASSWORD={Пароль} -v /path/to/license.json:/opt/pangolin/license.json -d pangolin-DB-sberlinux9:6.5.0

Дополнительно можно самостоятельно активировать и настроить следующие функциональности:

  • управление парольными политиками;

  • использование транспортных паролей;

  • расширенные возможностей аудита действий пользователя;

  • набор дополнительных представлений для анализа (psql_diagpack);

  • аварийное завершение СУБД при отключении СХД;

  • очистка не используемых файлов в табличных пространствах;

  • корректировка, фиксация и подмена плана запроса;

  • резервирование подключений для служебных ролей;

  • контроль потребления ресурсов (оперативная память и CPU);

  • планировщик заданий;

  • дефрагментация таблиц;

Использование пользовательских скриптов и параметров#

Работа с директориями /user_scripts.d и /user_conf.d возможна только при запуске контейнера, поэтому, если содержимое примонтированных директорий на ОС узла изменилось, необходимо перезапустить контейнер.

При запуске контейнера поддерживается возможность использования собственных sql и sh-скрипты. Для этого необходимо директорию со скриптами смонтировать к контейнеру в директорию /user_scripts.d. Поддерживаются скрипты в формате *.sh, *.sql, *.sql.gz. Например:

docker run --name pangolin -v "/path/to/scripts:/user_scripts.d" -e POSTGRES_PASSWORD=1314124141 -v /path/to/license.json:/opt/pangolin/license.json -d pangolin-DB-sberlinux9:6.5.0

Для передачи файла/файлов с параметрами для PostgreSQL можно использовать точку монтирования /user_conf.d. Если пользователь самостоятельно передает параметры, то значения в пользовательских файлах будет иметь более высокий приоритет. Например:

docker run --name pangolin -v "/path/to/configs:/user_conf.d" -e POSTGRES_PASSWORD=1314124141 -v /path/to/license.json:/opt/pangolin/license.json -d pangolin-DB-sberlinux9:6.5.0

Подсказка

Поддерживаются файлы в формате *.conf.

Если необходимо изменить стандартные правила в конфигурации pg_hba, нужно перезаписать файл pg_hba.conf в контейнере, который по умолчанию расположен по пути /pgdata/data/pg_hba.conf, либо воспользоваться sh-скриптом и передать его точку монтирования /user_scripts.d. Пример sh-скрипта:

#!/usr/bin/env sh
 
echo "local all postgres trust" > $PGDATA/pg_hba.conf
echo "host all postgres ::1/128 trust" >> $PGDATA/pg_hba.conf
echo "host all postgres localhost trust" >> $PGDATA/pg_hba.conf
echo "hostssl all postgres localhost trust" >> $PGDATA/pg_hba.conf
echo "hostssl all test_user_ssl 0.0.0.0/0 cert clientcert=verify-full" >> $PGDATA/pg_hba.conf
echo "host all all 0.0.0.0/0 scram-sha-256" >> $PGDATA/pg_hba.conf
echo "hostssl all postgres 0.0.0.0/0 cert clientcert=verify-full" >> $PGDATA/pg_hba.conf

Пример запуска с использованием собственного файла pg_hba:

docker run --name pangolin -v "/path/to/pg_hba.conf:/pgdata/data/pg_hba.conf" -e POSTGRES_PASSWORD=1314124141 -v /path/to/license.json:/opt/pangolin/license.json -d pangolin-DB-sberlinux9:6.5.0

Для использования Docker-образа в Kubernetes или DropApp можно воспользоваться примером манифеста:

apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: da-dp01-db-pangolin-dev
  name: pangolin-image-demo
spec:
  selector:
    matchLabels:
      app: Pangolin-DB
  replicas: 1
  template:
    metadata:
      labels:
        app: Pangolin-DB
    spec:
      containers:
        - image: {path}/pangolin-DB-sberlinux9:6.5.0
          name: pangolin-DB
          ports:
            - containerPort: 5433
              protocol: TCP
          env:
            - name: POSTGRES_PASSWORD
              value: '...'
            - name: PANGOLIN_LIC_DATA
              value: '{ "license" : { "end_date" : "...", "licensee" : "...", "type" : "..." }, "sign" : "lPNh...C4Xc" }'
            - name: enable_1c_support
              value: "false"
            - name: pg_stat_kcache_is_enable
              value: "false"
            - name: masking_mode
              value: "false"
            - name: autounite
              value: "false"
            - name: session_tracing
              value: "false"
            - name: performance_insights
              value: "false"
            - name: pg_profile
              value: "false"
            - name: rotate_password
              value: "false"
          livenessProbe:
            exec:
              command:
                - pg_isready
            initialDelaySeconds: 15
            periodSeconds: 60
          resources:
            requests:
              memory: "2048Mi"
              cpu: 1
            limits:
              memory: "4096Mi"
              cpu: 4
          volumeMounts:
            - name: postgresql-data
              mountPath: /pgdata
          securityContext:
            capabilities: {}
            privileged: false
      volumes:
        - name: postgresql-data
          emptyDir: {}
      imagePullSecrets:
        - name: image-pull-secret
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%

Ограничения#

У реализации возможности Docker-образа Pangolin DB присутствуют следующие ограничения:

  • Образ предназначен для использования только в DEV-средах - доработка функциональности обновления, резервного копирования и мониторинга не предусматривается. Для ПРОМ рекомендуется использовать совместно с оператором Pangolin CloudNative.

  • Некоторые инфраструктурнозависимые функциональности, например, работа с СЗИ, на текущий момент не доступны.

Docker-образ Pangolin Pooler#

Для работы с Pangolin Pooler устанавливаются дефолтные порты контейнеров - 6544 для пользовательских подключений и 5544 для связи с Pangolin DB. В качестве точки монтирования используется /user_conf.d для файлов пользовательских конфигураций.

В дефолтный файл конфигурации добавляется директива %include /user_conf.d для использования пользвоательских файлов конфигурации.

Используются переменные окружения (в скобках приведены значения по умолчанию):

  • max_client_conn (800);

  • pool_mode (transaction);

  • min_pool_size (0);

  • default_pool_size (105);

  • max_db_connections (105);

  • max_user_connections (105);

  • listen_port (6544);

  • db_host («»);

  • db_ port (5533).

Имя docker-образа устанавливается в формате Pangolin-pooler:*версия*. Пример - Pangolin-pooler:1.3.2.

Запуск образа#

Docker-образ имеет стандартные значения для переменных окружения:

PG_PLUGINS_PATH=/opt/pangolin-pooler/lib
LD_LIBRARY_PATH=/opt/pangolin-pooler/lib

Образ запускается со следующими параметрами в pangolin-pooler.ini:

[databases]
* = host=${DB_HOST:-NONE} port=${DB_PORT:-5433} auth_port=5544 auth_pool_size=1
 
[pgbouncer]
 listen_port = ${LISTEN_PORT:-6544}
 listen_addr = *
 auth_type = scram-sha-256
 auth_file = /etc/pangolin-pooler/userlist.txt
 auth_proxy = on
 auth_failure_threshold = 3
 auth_inactivity_period = 60
 auth_last_size = 10
 log_audit = 1
 admin_users = pgbouncer
 max_client_conn = ${MAX_CLIENT_CONN:-400}
 pool_mode = ${POOL_MODE:-transaction}
 min_pool_size = ${MIN_POOL_SIZE:-0}
 default_pool_size = ${DEFAULT_POOL_SIZE:-105}
 max_db_connections = ${MAX_DB_CONNECTIONS:-105}
 max_user_connections = ${MAX_USER_CONNECTIONS:-105}
 ignore_startup_parameters = extra_float_digits
 unix_socket_dir =
 ndc_suspending_timeout = 0
%include /user_conf.d/user_conf.ini

Параметры, заключенные в фигурные скобки, можно переопределить с помощью ENV в команде запуска образа.

Пример запуска с указанием параметра max_client_conn:

docker run --name pooler -e MAX_CLIENT_CONN=1000 -d pangolin-pooler:1.5.0

Внимание!

В версии 6.5.0 сквозная аутентификация не поддерживается при использовании образа Pangolin Pooler совместно с оператором Pangolin CloudNative.

Кластерная конфигурация#

Для использования в среде оркестрации DropAPP (Kubernetes) вместе с оператором или без него, а также для возможности запуска в среде оркестрации docker-compose, начиная с версии 6.5.0 Pangolin DB включает в себя дополнительно установленный и настроенный RPM-пакет Pangolin Manager. Таким образом, обеспечивается потоковая репликация.

Pangolin Manager способен использовать объекты Kubernetes для хранения состояния кластера и управления ведущим ключом, что в свою очередь обеспечивает функциональность построения кластерной конфигурации без использования оператора, но в случае с docker-compose потребуется сервис DCS, который будет реализован через Pangolin DCS.

Примечание:

Начиная с версии 6.5.0 прослушиваются порты 2481 (Manager DCS) и 8009 (Manager REST API).

Запуск и настройка Pangolin Manager производится только после обнаружения скриптами entrypoint одной из переменной окружения, которые задаются пользователем как аргументы для запуска образа - PATRONI_KUBERNETES_POD_IP (для среды оркестрации DropAPP (Kubernetes) без оператора) или PARTNER_ADDRS (для среды оркестрации docker-compose).

Запуск в среде оркестрации docker-compose#

Для запуска docker-образа Pangolin DB в среде оркестрации docker-compose необходимо подготовить файл с обязательными переменными окружения pangolin.env. Пример заполнения файла с переменными окружения:

POSTGRES_PASSWORD=RandomTestP@ssw000rd!!
PANGOLIN_LIC_DATA='{ "license" : { "end_date" : "2", "licensee" : "Trial license...", "type" : "Trial" }, "sign" : "lPNh.." }'
PATRONI_SCOPE=demo
PATRONI_POSTGRESQL_LISTEN='0.0.0.0:5433'

Внимание!

Ввиду ограничений среды оркестрации docker-compose для поддержания постоянного подключения к основному узлу необходимо указать сервис балансировщика (SynGX, Ngix и т.п).

Ниже представлен пример файла docker-compose.yml кластерной конфигурации Pangolin DB с использования балансировщика трафика SynGX:

name: pangolin-cluster
 
networks:
    cluster:
 
services:
    pangolin1:
        image: pangolin-DB-sberlinux942:15.5-6.5.0
        networks: [ cluster ]
        env_file: pangolin.env
        hostname: pangolin1
        container_name: demo-pangolin1
        environment:
            PARTNER_ADDRS: pangolin2:2481,pangolin3:2481
            PATRONI_NAME: pangolin1
 
    pangolin2:
        image: pangolin-DB-sberlinux942:15.5-6.5.0
        networks: [ cluster ]
        env_file: pangolin.env
        hostname: pangolin2
        container_name: demo-pangolin2
        environment:
            PARTNER_ADDRS: pangolin1:2481,pangolin3:2481
            PATRONI_NAME: pangolin2
        depends_on:
            - pangolin1
 
    pangolin3:
        image: pangolin-DB-sberlinux942:15.5-6.5.0
        networks: [ cluster ]
        env_file: pangolin.env
        hostname: pangolin3
        container_name: demo-pangolin3
        environment:
            PARTNER_ADDRS: pangolin1:2481,pangolin2:2481
            PATRONI_NAME: pangolin3
        depends_on:
            - pangolin2
 
    balancer:
        image: {path}/sbel8:prefix-602-2.3.1-5701-repacked-602
        networks: [ cluster ]
        hostname: balancer
        container_name: demo-balancer
        volumes:
            - ${PWD}/syngx.conf:/opt/syngx/conf/syngx.conf
        ports:
            - "8080:8080"
            - "5433:5433"
        depends_on:
            - pangolin1
            - pangolin2
            - pangolin3

Для настройки балансировщика трафика SynGX был использован стандартный конфигурационный файл syngx.conf с добавлением специальной секции:

[...]
### Pangolin cluster name: pangolin_cluster
stream {
  upstream pangolin_cluster {
    server pangolin1:5433;
    server pangolin2:5433;
    server pangolin3:5433;
    check type=tcp port=8008 default_down=true interval=5000 timeout=1000 rise=2 fall=5;
    check_send "GET /master HTTP/1.0\r\n\r\n";
    check_expect_alive "HTTP/1.0 200";
  }
  server {
    listen 5433;
    proxy_pass pangolin_cluster;
  }
}

Запуск кластера выполняется следующей командой:

docker-compose up -d

Pangolin DB StatFulSet (DropApp/Kubernetes)#

Ниже приведен пример манифеста для запуска в среде оркестрации DropApp (Kubernetes) docker-образа Pangolin DB и Pangolin Pooler (в режиме сквозной аутентификации).

Pangolin_k8s_cluster.yml:

apiVersion: v1
kind: Service
metadata:
  name: pangolin-docker-cluster-config
  labels:
    application: pangolin
    cluster-name: pangolin-docker-cluster
spec:
  clusterIP: None
 
---
# Секция для добавления пользовательских параметров
kind: ConfigMap
apiVersion: v1
metadata:
  name: pangolin-config
  labels:
    application: pangolin
    cluster-name: pangolin-docker-cluster
data:
# Параметры для Pangolin DB
  DB: |-
    max_parallel_workers = '10'
    max_parallel_workers_per_gather = '4'
# Параметры для Pangolin Pooler
  pooler: |-
    [pgbouncer]
     verbose = 3
 
---
 #  Основной манифест для установки StatfulSet Pangolin DB
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: &cluster_name pangolin-docker-cluster
  labels:
    application: pangolin
    cluster-name: *cluster_name
spec:
  replicas: 3
  serviceName: *cluster_name
  selector:
    matchLabels:
      application: pangolin
      cluster-name: *cluster_name
  template:
    metadata:
      labels:
        application: pangolin
        cluster-name: *cluster_name
    spec:
      serviceAccountName: pangolin-cluster-demo
      containers:
        - image: pangolin-DB-sberlinux942:15.5-6.5.0
          name: pangolin-DB
          imagePullPolicy: IfNotPresent
          readinessProbe:
            httpGet:
              scheme: HTTP
              path: /readiness
              port: 8008
            initialDelaySeconds: 15
            periodSeconds: 10
            timeoutSeconds: 15
            successThreshold: 1
            failureThreshold: 3
          ports:
            - containerPort: 5433
              protocol: TCP
            - containerPort: 8008
              protocol: TCP
          env:
            # Активация параметра dubug позволяет выводить информацию о генерированных файлах конфигурации postgresql.conf, postgres.yaml и pg_hba.conf
            - name: debug
              value: "false"
            - name: TZ
              value: Europe/Moscow
            - name: PATRONI_KUBERNETES_POD_IP
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
            - name: PATRONI_KUBERNETES_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
            - name: PATRONI_KUBERNETES_BYPASS_API_SERVICE
              value: 'false'
            - name: PATRONI_KUBERNETES_USE_ENDPOINTS
              value: 'true'
            - name: PATRONI_SCOPE
              value: *cluster_name
            # В PATRONI_KUBERNETES_LABELS значения параметра должно соответствовать лейблам Statfulset
             - name: PATRONI_KUBERNETES_LABELS
              value: '{application: pangolin, cluster-name: pangolin-docker-cluster}'
            - name: PATRONI_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: PATRONI_POSTGRESQL_LISTEN
              value: '0.0.0.0:5433'
            - name: POSTGRES_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: *cluster_name
                  key: pg_pass
            - name: PATRONI_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: *cluster_name
                  key: patroni_password
            - name: PANGOLIN_LIC_DATA
              valueFrom:
                secretKeyRef:
                  name: *cluster_name
                  key: lic_data
            - name: PG_PROFILE_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: *cluster_name
                  key: pg_profile_pass
            # Ниже представлены параметры для активации уникальных преднастроенных фичей Pangolin DB
            - name: enable_1c_support
              value: "False"
            - name: pg_stat_kcache_is_enable
              value: "False"
            - name: masking_mode
              value: "False"
            - name: session_tracing
              value: "False"
            - name: performance_insights
              value: "False"
            - name: pg_profile
              value: "False"
            - name: rotate_password
              value: "False"
          resources:
            requests:
              memory: "1024Mi"
              cpu: 1
            limits:
              memory: "2048Mi"
              cpu: 2
          volumeMounts:
            - name: postgresql-data
              mountPath: /pgdata
            - name: pangolin-config-volume
              mountPath: /user_conf.d
          securityContext:
            privileged: false
        # Docker образ Pangolin DB работает только с UID 26.
            runAsUser: 26
            runAsGroup: 26
        - image: pangolin-pooler:1.5.0
          name: pooler
          ports:
            - containerPort: 6544
              protocol: TCP
              name: pooler
          env:
            # Активация параметра dubug позволяет выводить информацию о генерированных файле конфигурации pangolin-pooler.ini
            - name: debug
              value: "false"             
            - name: TZ
              value: Europe/Moscow
            - name: DB_HOST
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
            - name: MAX_CLIENT_CONN
              value: "400"
            - name: POOL_MODE
              value: "transaction"
            - name: MIN_POOL_SIZE
              value: "0"
            - name: DEFAULT_POOL_SIZE
              value: "105"
            - name: MAX_DB_CONNECTIONS
              value: "105"
            - name: MAX_USER_CONNECTIONS
              value: "105"
          resources:
            requests:
              memory: "256Mi"
              cpu: 1
            limits:
              memory: "512Mi"
              cpu: 1
          volumeMounts:
            - name: pangolin-config-volume
              mountPath: /user_conf.d
          securityContext:
            privileged: false
      volumes:
        - name: postgresql-data
          emptyDir: {}
        - name: pangolin-config-volume
          configMap:
            name: pangolin-config
            items:
              - key: DB
                path: user.conf
              - key: pooler
                path: user_conf.ini
      imagePullSecrets:
        - name: image-pull-secret
      terminationGracePeriodSeconds: 0
 
---
apiVersion: v1
kind: Endpoints
metadata:
  name: &cluster_name pangolin-docker-cluster
  labels:
    application: pangolin
    cluster-name: *cluster_name
subsets: []
 
---
# Сервис для подключения к мастер-узлу
apiVersion: v1
kind: Service
metadata:
  name: &cluster_name pangolin-docker-cluster
  labels:
    application: pangolin
    cluster-name: *cluster_name
spec:
  type: ClusterIP
  selector:
    application: pangolin
    cluster-name: *cluster_name
    role: master  
  ports:    
    - protocol: TCP
      port: 5433
      targetPort: 5433
      name: db
    - protocol: TCP
      port: 6544
      targetPort: 6544
      name: pooler
 
---
# Сервис для подключения к узлу реплика
apiVersion: v1
kind: Service
metadata:
  name: pangolin-cluster-demo-repl
  labels:
    application: pangolin
    cluster-name:  &cluster_name pangolin-docker-cluster
    role: replica
spec:
  type: ClusterIP
  selector:
    application: pangolin
    cluster-name: *cluster_name
    role: replica
  ports:
  - port: 5433
    targetPort: 5433
 
---
# Файл с паролями в кодировке Base64
apiVersion: v1
kind: Secret
metadata:
  name: &cluster_name pangolin-docker-cluster
  labels:
    application: pangolin
    cluster-name: *cluster_name
type: Opaque
data:
# Пароль для уз Postgres
  pg_pass: UEBzc3dvcmRGb3JUZXN0cyEhMTE=
# Пароль для уз Patroni
  patroni_password: UGF0cm9uaVRlc3RQYXNzd29yZDEwMjkhQA==
# Пароль для уз pg_profile_tuz
  pg_profile_pass: cHJvZmlsZXR1elBhc3NzdXBlcnRyb25HMTIxMg==
# Данные лицензии Pangolin
  lic_data:
 
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: pangolin-cluster-demo
 
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: pangolin-cluster-demo
  namespace: da-dp01-db-pangolin-dev
rules:
- apiGroups:
  - ""
  resources:
  - configmaps
  verbs:
  - create
  - get
  - list
  - patch
  - update
  - watch
  # delete and deletecollection are required only for 'patronictl remove'
  - delete
  - deletecollection
- apiGroups:
  - ""
  resources:
  - endpoints
  verbs:
  - get
  - patch
  - update
  # the following three privileges are necessary only when using endpoints
  - create
  - list
  - watch
  # delete and deletecollection are required only for 'patronictl remove'
  - delete
- apiGroups:
  - ""
  resources:
  - pods
  verbs:
  - get
  - list
  - patch
  - update
  - watch
# The following privilege is only necessary for creation of headless service
# for pangolin-config endpoint, in order to prevent cleaning it up by the
# k8s master. You can avoid giving this privilege by explicitly creating the
# service like it is done in this manifest (lines 2..10)
- apiGroups:
  - ""
  resources:
  - services
  verbs:
  - create
 
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: pangolin-cluster-demo
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: pangolin-cluster-demo
subjects:
- kind: ServiceAccount
  name: pangolin-cluster-demo

Команда запуска манифеста:

kubectl apply -n pangolin-demo-cluster -f pangolin_k8s_cluster.yaml

Можно воспользоваться helm-чартом pangolin-db, который находится внутри дистрибутива с продуктом Pangolin по пути conf/helm/application/pangolin-db.

Примечание:

helm чарт pangolin-db доступен только в дистрибутива для OS Sberlinux 9, RedOS 7 и RedOS 8.

Пример вызова helm-чарта:

helm install pangolin-db-demo -n da-dp01-db-pangolin-dev \
--set imageName.DB=pangolin-DB-sberlinux942:15.5-6.5.0 \
--set imageName.Pooler=pangolin-pooler:1.5.0 \
--set pooler.enabled=true --set-file lic_data=license_trial.json conf/helm/application/pangolin-db --atomic --timeout 5m

Запуск c использованием оператора Pangolin CloudNative#

Pangolin CloudNative#

Для построения кластерной конфигурации в среде оркестрации DropAPP (kubernetes) используется оператор Cloudnative-PG, который в составе продукта называется Pangolin CloudNative. Схема оркестрации кластера Pangolin с использованием оператора Pangolin CloudNative отвечает требованиям к решению для применения в частных (отчуждаемых) облаках.

Возможности Pangolin CloudNative:

  • Прямая интеграция с сервером Kubernetes API для обеспечения высокой доступности без использования внешних инструментов.

  • Обеспечение отказоустойчивости основного экземпляра за счет выбранной реплики.

  • Возможность переключения с основного экземпляра на выбранную реплику.

  • Возможность работы произвольного количества экземпляров (минимальное значение 1 соответствует основному серверу).

  • Определение службы на чтение и запись для подключения приложений только к основному серверу кластера.

  • Определение службы только на чтение для подключения приложений к любым экземплярам.

  • Декларативное управление ролями, пользователями и группами.

  • Поддержка локальных хранилищ данных с шаблонами запросов к ним.

  • Переиспользование постоянных хранилищ в подах.

  • Отдельное хранилище для WAL-файлов.

  • Поддержка минорных версий PostgreSQL (если не был изменен системный каталог).

  • Постоянные обновления или обновления «на лету» для операторов.

  • Поддержка TLS-соединений и аутентификации клиента по сертификату.

  • Поддержка пользовательских сертификатов TLS (включая интеграцию с cert-manager).

  • Непрерывное резервное копирование в хранилище объектов.

  • Полное восстановление и восстановление в определенный момент времени из существующей резервной копии в хранилище объектов.

  • Автономный импорт существующих баз данных PostgreSQL.

  • Переход в спящий режим кластера PostgreSQL декларативным способом.

  • Поддержка синхронных реплик.

  • Поддержка двух слотов физической репликации на уровне кластера.

  • Резервное копирование из режима ожидания.

  • Политики хранения резервных копий (на основе окна восстановления).

  • Параллельное архивирование и восстановление WAL, чтобы база данных могла успевать за генерацией WAL в системах с высокой интенсивностью записи.

  • Поддержка тегов для файлов резервных копий, загружаемых в хранилище объектов, для включения дополнительного управления хранением на уровне хранилища объектов.

  • Развертывание PostgreSQL на нескольких кластерах Kubernetes, позволяющее использовать частные, общедоступные, гибридные и мультиоблачные архитектуры.

  • Объединение в пул соединений с помощью Pangolin Pooler.

  • Поддержка привязки к узлу через nodeSelector.

  • Настраиваемый экспортер пользовательских метрик для Prometheus через порт metrics (9187).

  • Стандартное протоколирование сообщений об ошибках PostgreSQL в формате JSON.

  • Автоматическая настройка readOnlyRootFilesystem контекста безопасности для модулей.

  • cnpg плагин для kubectl.

Примечание:

Оператор Pangolin CloudNative не использует скрипты Entrypoint внутри docker-образов Pangolin DB и Pangolin Pooler. Конфигурация уникальных функциональностей Pangolin DB доступна только при использовании helm-чарта.

Архив оператора pcloudn-1.20.6-distrib.tar.gz расположен в дистрибутиве продукта Pangolin в архиве 3rdparty. Внутри архива расположены:

  • бинарный файл оператора;

  • плагин kubectl для работы с оператором;

  • Docker-файл для самостоятельной сборки docker-образа оператора;

  • манифест для установки оператора;

  • helm-чарт для установки Pangolin DB с помощью оператора.

Внимание!

В манифесте cnpg-1.20.6.yaml в строках 13660 и 13667 вместо pangolin-cloudnative:1.20.6-121 необходимо указать путь к Docker-образу Pangolin CloudNative.

Для установки оператора необходимо применить манифест cnpg-1.20.6.yaml:

kubectl apply -f cnpg-1.20.6.yaml --namespace=cnpg-system

Для установки кластера Pangolin DB с помощью оператора Pangolin CloudNative необходимо воспользоваться helm-чартом, расположенным в архиве pcloudn-1.20.6-distrib.tar.gz, имя чарта cnpg-cluster.

Пример запуска helm-чарта:

helm install pangolin-demo-cl -n pangolin-demo --atomic --timeout 3m \
-f ./helm_charts/cnpg-cluster/dev_values.yaml ./helm_charts/cnpg-cluster