Руководство по установке#

Термины и определения#

Встречающиеся в руководстве термины и сокращения смотрите в документе «Руководство по системному администрированию».

Системные требования#

Настройки безопасности окружения и перечень платформенных (дополнительных внешних) продуктов, используемых для установки, настройки и контроля в конечной информационной системе (далее — ИС), выбираются клиентом при разработке конечной ИС, исходя из характера обрабатываемой в ней информации и иных требований информационной безопасности (далее — ИБ), предъявляемых к ней.

Системное программное обеспечение#

Ниже представлены категории системного программного обеспечения (далее — ПО), которые обязательны или опциональны для установки, настройки, контроля и функционирования компонента.

В каждой категории перечислены все поддерживаемые продукты сторонних правообладателей. Отдельно обозначены варианты, которые рекомендует АО «СберТех» (маркировка «Рекомендовано» в столбце «Продукт, функциональная совместимость с которым подтверждена»).

Клиенту необходимо выбрать один из продуктов в каждой категории, исходя из условий использования конечной ИС.

Примечание:

*

• Да — категория ПО обязательна для функционирования сервиса (это означает, что сервис не может выполнять свои основные функции без установки данной категории ПО).

• Нет — категория ПО необязательна для функционирования сервиса (это означает, что сервис может выполнять свои основные функции без установки данной категории ПО).

**

• Рекомендовано — рекомендованный правообладателем АО «СберТех» продукт.

• Опционально — альтернативный по отношению к рекомендованному правообладателем АО «СберТех» продукт.

В состав SDP Hadoop (SB-DPH) входят компоненты, перечисленные в таблице ниже.

Платформенные зависимости#

Для настройки, контроля и функционирования компонента реализована интеграция с программными продуктами, правообладателем которых является АО «СберТех»:

Примечание:

***

• Да — компонент или продукт необходим для функционирования сервиса (это означает, что сервис не может выполнять свои основные функции без установки данного компонента).

• Нет — необязательный для функционирования сервиса компонент или продукт (это означает, что сервис может выполнять свои основные функции без установки данного компонента).

****

Рекомендуется установка программного продукта, правообладателем которого является АО «СберТех», при этом не исключена возможность (допускается правообладателем) использования аналога других производителей. Аналоги, в отношении которых продукт успешно прошел испытания и подтвердил свою работоспособность, указаны в разделе «Системное программное обеспечение».

Аппаратные требования#

Для установки компонента требуется следующая конфигурация аппаратного обеспечения:

• ядра ЦПУ — 16;

• оперативная память — 64 ГБ;

• дисковое пространство — не менее 500 ГБ.

Подготовка#

Настройка среды развертывания SDP Hadoop#

Для осуществления нижеперечисленных настроек необходимо наличие УЗ с правами на редактирование конфигурационных файлов SDP Hadoop. Для некоторых настроек потребуются права SUPERUSER и права на запись. Если не указано иное — требуется УЗ с правами на редактирование.

Примечание: Для доступа к кластеру SDP Hadoop требуется наличие установленного дистрибутива SDP Hadoop и УЗ для подключения к кластеру.

Если внутреннее окружение SDP Hadoop не настроено, то воспользуйтесь указанными далее примерами настройки конфигурационных файлов.

Рекомендуемая настройка конфигурационного файла core-site.xml#

Конфигурационный файл core-site.xml располагается в директории /etc/hadoop/conf/.

Пример конфигурации:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <!-- Замените IP-адрес NameNode <namenode_ip> и порт NameNode <namenode_port> на актуальные значения -->
        <value>
            <!-- hdfs://<namenode_ip>:<namenode_port> -->
        </value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/tmp</value>
    </property>

    <property>
        <name>fs.trash.interval</name>
        <!--  The unit is minutes -->
        <value>60</value>
    </property>
</configuration>

Рекомендуемая настройка конфигурационного файла yarn-site.xml#

Конфигурационный файл yarn-site.xml располагается в директории /etc/hadoop/conf/.

Пример конфигурации:

<configuration>
    <property>
        <name>yarn.application.classpath</name>
        <value>
            $HADOOP_HOME,
            $HADOOP_HOME/lib/*,
            $HADOOP_CONF_DIR,
            /usr/sdp/3.5.4.1-1/hadoop/client/*,
            /usr/sdp/3.5.4.1-1/hadoop-hdfs/*,
            /usr/sdp/3.5.4.1-1/hadoop-hdfs/lib/*,
            /usr/sdp/3.5.4.1-1/hadoop-yarn/*,
            /usr/sdp/3.5.4.1-1/hadoop-yarn/lib/*
        </value>
    </property>
    
    <property>
        <name>yarn.resourcemanager.address</name>
        <!-- 
          Замените IP-адрес YARN ResourceManager <yarn_rm_ip> и
          порт YARN ResourceManager <yarn_rm_port> на актуальные значения
        -->
        <value>
            <!-- <yarn_rm_ip>:<yarn_rm_port> -->
        </value>
    </property>

    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <!-- 
          Замените IP-адрес YARN resource tracker <yarn_rt_ip> и
          порт YARN resource tracker <yarn_rt_port> на актуальные значения
        -->
        <value>
            <!-- <yarn_rt_ip>:<yarn_rt_port> -->
        </value>
    </property>
    
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <!-- 
          Замените IP-адрес YARN scheduler <yarn_scheduler_ip> и
          порт YARN scheduler <yarn_scheduler_port> на актуальные значения
        -->
        <value>
            <!-- <yarn_scheduler_ip>:<yarn_scheduler_port> -->
        </value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>

    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

Рекомендуемая настройка конфигурационного файла capacity-scheduler.xml в директории /etc/hadoop/conf/.

Пример конфигурации:

<configuration>
    <property>
        <name>yarn.scheduler.capacity.root.queues</name>
        <value>default</value>
    </property>
    
    <property>
        <name>yarn.scheduler.capacity.root.default.capacity</name>
        <value>100</value>
    </property>
    
    <property>
        <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
        <value>0.9</value>
    </property>
 
    <property>
        <name>yarn.scheduler.capacity.resource-calculator</name>
        <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
    </property>
</configuration>

Настройка Hive#

Под административной УЗ в БД Hive Metastore:

1. Создайте УЗ приложения для подключения к Hive Metastore.

-- <username> замените на имя УЗ приложения, <password> — на пароль для УЗ приложения
CREATE ROLE <username> WITH PASSWORD '<password>' LOGIN;

2. Задайте права доступа для УЗ приложения.

-- Определение прав УЗ приложения. Замените <db_name> на имя БД Hive, <username> — на имя УЗ приложения
GRANT CREATE ON DATABASE <db_name> TO <username>;

3. Настройте SEARCH_PATH для УЗ приложения.

-- <username> замените на УЗ приложения
ALTER ROLE <username> SET search_path TO "$user";

4. Выполните настройку конфигурационного файла hive-site.xml в директории /etc/hive/conf/.

Пример конфигурации:

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <!-- Замените IP-адрес <db_ip>, порт <db_port>, имя БД <hive_db> на актуальные значения для БД метаданных Hive -->
        <value>
            <!-- jdbc:postgresql://<db_ip>:<db_port>/<hive_db> -->
        </value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>org.postgresql.Driver</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <!-- Замените <hive_user> на имя УЗ для подключения к БД метаданных Hive -->
        <value>
            <!-- <hive_user> -->
        </value>
    </property>

    <!-- Замените <hive_pass> на пароль от УЗ приложения для подключения к БД метаданных Hive -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>
            <!-- <hive_pass> -->
        </value>
    </property>

    <property>
        <name>hive.metastore.warehouse.dir</name>
        <!-- 
          Замените IP-адрес NameNode <namenode_ip>, порт NameNode <namenode_port>, 
          путь до директории Hive Warehouse <hive_warehouse> на актуальные значения
        -->
        <value>
            <!-- hdfs://<namenode_ip>:<namenode_port>/<hive_warehouse> -->
        </value>
    </property>
</configuration>

Создание рабочей директории компонента в HDFS#

Под административной УЗ в HDFS:

1. Создайте рабочую директорию приложения.

# <directory> замените на наименование директории
hdfs dfs -mkdir -p /<directory>

2. Задайте права доступа к директории приложения.

# <directory> замените на наименование директории
hdfs dfs -chmod -R o+xwr /<directory>

Настройка среды развертывания БД#

Создание схемы приложения#

Под административной УЗ в БД компонента выполните создание схемы приложения.

-- Создание схемы приложения. Замените <schema_name> на имя схемы приложения
CREATE SCHEMA <schema_name>;

Создание УЗ приложения#

Под административной УЗ в БД компонента создайте УЗ приложения.

-- Создание УЗ приложения. Замените <username> на имя УЗ приложения, <password> — на пароль для УЗ приложения
CREATE ROLE <username> WITH PASSWORD '<password>' LOGIN;

-- Настройка search_path для УЗ приложения. Замените <username> на имя УЗ приложения, <schema_name> — на имя схемы
ALTER ROLE <username> SET search_path TO '<schema_name>';

Определение прав доступа для УЗ приложения#

Под административной УЗ в БД компонента определите права доступа.

-- Определение прав УЗ приложения. Замените <schema_name> на имя схемы приложения, <username> — на имя УЗ приложения

-- Права на использование схемы
GRANT USAGE ON SCHEMA <schema_name> TO <username>;

-- Права на создание объектов в схеме
GRANT CREATE ON SCHEMA <schema_name> TO <username>;

Настройка среды развертывания сервера#

Примечание: При использовании установщика выполнить только пункт: «2. Создайте УЗ приложения.».

Под административной УЗ на сервере OLAP:

1. Установите JDK и unzip.

sudo yum install java-1.8.0-openjdk-1.8.0.362.b09-2.sl8.x86_64 unzip -y

2. Создайте УЗ приложения.

# <username> замените на имя УЗ приложения
sudo useradd <username>
sudo passwd <username>

3. Экспортируйте переменные в ~/.bashrc.

# Путь <java> замените на путь до директории установки Java
echo 'export JAVA_HOME="<java>"' >> ~/.bashrc

# Путь <directory> замените на путь до директории установки компонента OLAP
echo 'export KYLIN_HOME="<directory>"' >> ~/.bashrc
echo 'export PATH="${PATH}:${KYLIN_HOME}/bin"' >> ~/.bashrc

source ~/.bashrc

4. Создайте директорию установки.

sudo mkdir ${KYLIN_HOME}

5. Задайте владельца директории установки.

# <username> замените на имя административной УЗ
sudo chown -R <username>:<username> ${KYLIN_HOME}

6. Задайте права доступа к директории установки для УЗ приложения.

# <username> замените на имя УЗ приложения
sudo setfacl -R -m u:<username>:rwx ${KYLIN_HOME}

Установка#

Ручная установка#

Под УЗ приложения на сервере OLAP:

1. Скачайте дистрибутив компонента OLAP и разместите в директории установки.

2. Экспортируйте переменные в ~/.bashrc.

# При необходимости измените пути до компонентов SDP Hadoop
echo 'export HADOOP_HOME="/usr/sdp/3.5.4.1-1/hadoop"' >> ~/.bashrc
echo 'export PATH="${PATH}:${HADOOP_HOME}/bin"' >> ~/.bashrc
echo 'export HADOOP_CONF_DIR="/etc/hadoop/conf"' >> ~/.bashrc
echo 'export HIVE_HOME="/usr/sdp/3.5.4.1-1/hive"' >> ~/.bashrc
echo 'export PATH="${PATH}:${HIVE_HOME}/bin"' >> ~/.bashrc
echo 'export HIVE_CONF_DIR="/etc/hive/conf"' >> ~/.bashrc

# Путь <java> замените на путь до директории установки Java
echo 'export JAVA_HOME="<java>"' >> ~/.bashrc
 
# Путь <directory> замените на путь до директории установки компонента OLAP
echo 'export KYLIN_HOME="<directory>"' >> ~/.bashrc
echo 'export PATH="${PATH}:${KYLIN_HOME}/bin"' >> ~/.bashrc
 
# <hadoop> замените на имя УЗ SDP Hadoop
echo 'export HADOOP_USER_NAME="<hadoop>"' >> ~/.bashrc
 
source ~/.bashrc

3. Запустите команду распаковки дистрибутива.

# <distr_name> замените на имя используемого дистрибутива
unzip ${KYLIN_HOME}/<distr_name> -d ${KYLIN_HOME} && mv ${KYLIN_HOME}/package/bh/* ${KYLIN_HOME}/ && rm -rf ${KYLIN_HOME}/package ${KYLIN_HOME}/<distr_name>

4. Задайте права запуска для УЗ приложения.

chmod -R +x ${KYLIN_HOME}/{bin,sbin,spark/bin}

5. Выполните шифрование пароля УЗ приложения от БД.

# <password> замените на пароль УЗ приложения от БД компонента
kylin.sh org.apache.kylin.tool.general.CryptTool -e AES -s "<password>"

6. Выполните настройку конфигурационного файла kylin.properties в директории ${KYLIN_HOME}/conf/. Параметры разместите в начале конфигурационного файла.

# Порт для запуска сервиса kylin, замените <port> на актуальное значение
server.port=<port>

# Замените путь до директории с конфигурационными файлами SDP Hadoop <hadoop_conf_dir> на актуальное значение
kylin.env.apache-hadoop-conf-dir=<hadoop_conf_dir>

# Замените путь до директории с конфигурационными файлами SDP Hive <hive_conf_dir> на актуальное значение
kylin.env.apache-hive-conf-dir=<hive_conf_dir>

# Путь до рабочей директории в HDFS
# <directory> замените на наименование директории
kylin.env.hdfs-working-dir=/<directory>

# Список адресов кластера zookeeper <zookeeper_addresses>, укажите
# актуальное значение
kylin.env.zookeeper-connect-string=<zookeeper_addresses>

# JDBC connection string для подключения к БД компонента
# Замените IP-адрес БД <db_ip>, порт БД <db_port>,
# имя БД <olap_db>, имя схемы <schema>, имя УЗ приложения <olap>,
# <olap_hash_pass> на шифрованный пароль
kylin.metadata.url=kylin_metadata@jdbc,driverClassName=org.postgresql.Driver,url=jdbc:postgresql://<db_ip>:<db_port>/<olap_db>?searchpath=<schema>,username=<olap>,password=ENC('<olap_hash_pass>')

# Отключение автоматической генерации пароля
kylin.metadata.random-admin-password.enabled=false

# Укажите IP-адрес сервера <ip_host>, на котором проводится установка
kylin.engine.spark-conf.spark.driver.host=<ip_host>

kylin.engine.driver-memory-strategy=2,500
kylin.engine.spark-conf.spark.driver.memory=512M
kylin.engine.spark-conf.spark.driver.memoryOverhead=512M
kylin.engine.spark-conf.spark.executor.cores=1
kylin.engine.spark-conf.spark.executor.instances=1
kylin.engine.spark-conf.spark.executor.memory=1024M
kylin.engine.spark-conf.spark.executor.memoryOverhead=512M

# Укажите IP-адрес сервера <ip_host>, на котором проводится установка
kylin.storage.columnar.spark-conf.spark.driver.host=<ip_host>

kylin.storage.columnar.spark-conf.spark.driver.memory=512m
kylin.storage.columnar.spark-conf.spark.executor.memory=512m
kylin.storage.columnar.spark-conf.spark.executor.memoryOverhead=512m
kylin.storage.columnar.spark-conf.spark.yarn.am.memory=512m
kylin.storage.columnar.spark-conf.spark.executor.cores=1
kylin.storage.columnar.spark-conf.spark.executor.instances=1

kylin.query.async-query.spark-conf.spark.executor.cores=1
kylin.query.async-query.spark-conf.spark.driver.memory=1024M
kylin.query.async-query.spark-conf.spark.executor.memory=1024M
kylin.query.async-query.spark-conf.spark.executor.instances=1
kylin.query.async-query.spark-conf.spark.executor.memoryOverhead=512M

7. Запустите компонент OLAP.

kylin.sh start

Автоматизированная установка#

Примечание: Для использования установщика требуется настройка окружения (смотрите в документе «Установщик»).

1. Под УЗ приложения экспортируйте переменные Hadoop в ~/.bashrc.

# При необходимости измените пути до компонентов SDP Hadoop
echo 'export HADOOP_HOME="/usr/sdp/3.5.4.1-1/hadoop"' >> ~/.bashrc
echo 'export PATH="${PATH}:${HADOOP_HOME}/bin"' >> ~/.bashrc
echo 'export HADOOP_CONF_DIR="/etc/hadoop/conf"' >> ~/.bashrc
echo 'export HIVE_HOME="/usr/sdp/3.5.4.1-1/hive"' >> ~/.bashrc
echo 'export PATH="${PATH}:${HIVE_HOME}/bin"' >> ~/.bashrc
echo 'export HIVE_CONF_DIR="/etc/hive/conf"' >> ~/.bashrc

source ~/.bashrc

С рабочего места администратора:

1. Скачайте дистрибутив установщика.

2. Запустите команду распаковки дистрибутива.

# <distr_name> замените на имя используемого дистрибутива
unzip <distr_name> && rm -rf <distr_name> && cd ansible/

3. Создайте конфигурационный файл olap.yml и выполните его настройку.

app:
  # IP-адрес хоста, на котором проводится установка
  # Тип данных: строка
  host: ""

  # Порт
  # Тип данных: строка
  port: ""

  # Путь до домашней директории на сервере
  # Тип данных: строка
  home: ""

  # УЗ для работы приложения
  # Тип данных: строка
  user: ""

  distributive:
    # Id группы артефакта
    # Тип данных: строка
    group_id: ""

    # Id артефакта
    # Тип данных: строка
    artifact_id: ""

    # Версия артефакта
    # Тип данных: строка
    version: ""

    # Классификация артефакта
    # Тип данных: строка
    classifier: ""

    # Тип артефакта
    # Тип данных: строка
    type: ""

    # Ссылка на репозиторий с дистрибутивом
    # Тип данных: строка
    distr_url: ""

  database:
    # Имя БД
    # Тип данных: строка
    name: ""

    # Имя схемы приложения в БД
    # Тип данных: строка
    schema: ""

    # Адрес базы данных
    # Тип данных: строка
    address: ""

  hdfs:
    # Директория с конфигурационными файлами Hadoop
    # Тип данных: строка
    hadoop_conf_dir: ""

    # Директория с конфигурационными файлами Hive
    # Тип данных: строка
    hive_conf_dir: ""

    # Директория OLAP в HDFS
    # Тип данных: строка
    dir: ""

    # Адрес демона NameNode
    # Тип данных: строка
    namenode_address: ""

    # Адрес демонов Zookeeper
    # Тип данных: строка
    zookeeper_address: ""

  secrets:
    # УЗ для доступа к репозиторию дистрибутива
    # Тип данных: строка
    repository_username: ""

    # Пароль для доступа к репозиторию дистрибутива
    # Тип данных: строка
    repository_password: ""

    # УЗ приложения для доступа к БД
    # Тип данных: строка
    database_username: ""

    # Пароль приложения для доступа к БД
    # Тип данных: строка
    database_password: ""

    # УЗ для доступа к кластеру Hadoop
    # Тип данных: строка
    hadoop_username: ""

4. Выполните настройку файла хостов inventory/inventory.yml.

# <host> замените на IP-адрес хоста, на котором проводится установка
all:
  children:
    olap:
      hosts: <host>

5. Запустите установщик.

# <username> замените на имя административной УЗ сервера OLAP
ansible-playbook main.yml -i inventory/inventory.yml --tags install --skip-tags mdxk --extra-vars @olap.yml -u <username> -c paramiko --ask-pass

Обновление#

Под УЗ приложения на сервере OLAP:

1. Выполните остановку компонента OLAP.

kylin.sh stop

2. Очистите директорию установки OLAP.

rm -rf ${KYLIN_HOME}/*

3. Установите новую версию дистрибутива согласно пункту «Установка».

4. Выполните проверку обновления согласно пункту «Проверка работоспособности».

Примечание: Для обновления через установщик требуется выполнить установку новой версии дистрибутива согласно пункту «Автоматизированная установка».

Проверка работоспособности#

Отправьте запрос к health-check entrypoint.

# <ip> замените на IP OLAP, порт <port> на порт OLAP
curl -o /dev/null -s -w "%{http_code}\n" http://<ip>:<port>/kylin/api/health

Успешный ответ:

200

Откат#

1. Выполните установку предыдущей версии дистрибутива согласно пункту «Обновление».

2. Проверьте успешность отката, как указано в разделе «Проверка работоспособности».

Примечание: Для отката через установщик требуется выполнить установку предыдущей версии дистрибутива согласно пункту «Автоматизированная установка». Проверить успешность отката, как указано в разделе «Проверка работоспособности».

Удаление#

Удаление рабочей директории компонента в HDFS#

Под административной УЗ на сервере OLAP выполните удаление рабочей директории компонента в HDFS.

# <directory> замените на значение параметра <kylin.env.hdfs-working-dir>
hdfs dfs -rm -R /<directory>

Примечание: После успешного выполнения команды директория и все ее содержимое будут удалены из HDFS. Важно отметить, что выполнение этой команды удалит все данные, связанные с OLAP в HDFS, и эта операция необратима, поэтому перед выполнением очистки рекомендуется создать резервные копии данных OLAP в HDFS, если они потребуются для будущего использования или анализа.

Удаление среды развертывания сервера#

Примечание: Чтобы иметь возможность в будущем восстановить созданные проекты, выполните резервное копирование метаданных OLAP под УЗ приложения.

# <directory> замените на путь до директории вне ${KYLIN_HOME}
metastore.sh backup <directory>

Чтобы выполнить резервное копирование конфигурационного файла kylin.properties, запустите команду:

# <directory> замените на путь до директории вне ${KYLIN_HOME}
cp ${KYLIN_HOME}/conf/kylin.properties <directory>

Под административной УЗ на сервере OLAP:

1. Выполните остановку OLAP.

kylin.sh stop

2. Удалите директорию установки на сервере.

sudo rm -rf ${KYLIN_HOME}

3. Удалите УЗ приложения.

# <username> замените на имя УЗ приложения
sudo userdel <username>
sudo rm -rf /home/<username>

Удаление схемы БД и связанных объектов#

Под административной УЗ в БД:

1. Удалите схему БД со всем содержимым.

Примечание: В результате выполнения команды все объекты приложения OLAP будут удалены из базы данных. Это означает, что данные будут недоступны для дальнейшего использования. Поэтому перед выполнением удаления рекомендуется создать резервную копию данных.

-- Удаление схемы приложения. Замените <schema_name> на имя схемы приложения
DROP SCHEMA <schema_name> CASCADE;

2. Удалите пользователя приложения в БД.

-- Удаление УЗ приложения. Замените <username> на имя УЗ приложения
DROP ROLE <username>;

Часто встречающиеся проблемы и пути их устранения#

Часто встречающиеся проблемы не обнаружены.

Чек-лист валидации установки#