Конфигурирование#

Параметры настройки#

Список конфигурационных файлов, в которых выполняются настройки компонента OLAP, представлен в таблице ниже:

Базовые настройки#

Общие настройки#

Общие настройки компонента OLAP выполняются в файле kylin.properties — одном из наиболее важных конфигурационных файлов.

Маршрутизация запросов к компоненту OLAP осуществляется через балансировщик нагрузки по портам.

Переопределение настроек#

В файле kylin.properties доступно множество настроек. Чтобы изменить часть из них, создайте новый файл с именем kylin.properties.override в каталоге $KYLIN_HOME/conf.

Затем поместите настраиваемые элементы конфигурации в kylin.properties.override. Элементы из этого файла будут переопределять значения по умолчанию в kylin.properties во время выполнения программы.

Это удобно использовать при обновлении системы. Просто поместите файл kylin.properties.override вместе с новой версией kylin.properties.

Настройки JVM#

Конфигурация JVM по умолчанию такова:

export KYLIN_JVM_SETTINGS="-server -Xms1g -Xmx8g -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:G1HeapRegionSize=16m -XX:+PrintFlagsFinal -XX:+PrintReferenceGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintAdaptiveSizePolicy -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark  -Xloggc:$KYLIN_HOME/logs/kylin.gc.$$  -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=64M -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=${KYLIN_HOME}/logs"

Чтобы изменить конфигурацию, сделайте копию, назовите setenv.sh и поместите ее в папку $SKYLINE_HOME/conf/, затем измените конфигурацию в ней.

Параметр -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=${KYLIN_HOME}/logs будет генерировать журналы при выходе из памяти.

Путь к файлу журнала по умолчанию — ${KYLIN_HOME}/logs. При необходимости его можно изменить.

export JAVA_VM_XMS=1g        #Начальная память JVM при запуске OLAP
export JAVA_VM_XMX=8g        #Максимальный объем памяти JVM при запуске OLAP
export JAVA_VM_TOOL_XMS=1g   #Начальный объем памяти JVM при запуске класса инструмента
export JAVA_VM_TOOL_XMX=8g   #Максимальный объем памяти JVM при запуске класса инструмента

Если значение JAVA_VM_TOOL_XMS не задано, то значение JAVA_VM_TOOL_XMS будет использовать значение JAVA_VM_XMS. Аналогично, если значение JAVA_VM_TOOL_XMX не задано, JAVA_VM_TOOL_XMX будет использовать значение JAVA_VM_XMX.

Рекомендуемые настройки для производственной среды#

В каталоге $KYLIN_HOME/conf/ находятся два набора готовых к использованию конфигураций: production и minimal.

Первая — это конфигурация по умолчанию, которая рекомендуется для производственной среды.

Вторая использует минимум ресурсов и подходит для «песочницы» или другого узла с ограниченными ресурсами.

Используйте минимальную конфигурацию, если среда имеет ограниченные ресурсы.

Чтобы перейти на минимальную конфигурацию, уберите символы комментария у нижеперечисленных элементов конфигурации в файле $KYLIN_HOME/conf/kylin.properties и перезапустите компонент OLAP, чтобы они вступили в силу.

# KAP предоставляет два профиля конфигурации: minimal и production (по умолчанию).
# Чтобы переключиться на minimal: раскомментируйте свойства
# kylin.storage.columnar.spark-conf.spark.driver.memory=512m
# kylin.storage.columnar.spark-conf.spark.executor.memory=512m
# kylin.storage.columnar.spark-conf.spark.executor.memoryOverhead=512m
# kylin.storage.columnar.spark-conf.spark.executor.extraJavaOptions=-Dhdp.version=current -Dlog4j.configuration=spark-executor-log4j.properties -Dlog4j.debug -Dkylin.hdfs.working.dir=${kylin.env.hdfs-working-dir} -Dkylin.metadata.identifier=${kylin.metadata.url.identifier} -    Dkylin.spark.category=sparder -Dkylin.spark.project=${job.project} -XX:MaxDirectMemorySize=512M
# kylin.storage.columnar.spark-conf.spark.yarn.am.memory=512m
# kylin.storage.columnar.spark-conf.spark.executor.cores=1
# kylin.storage.columnar.spark-conf.spark.executor.instances=1

Конфигурация Spark#

Подробное объяснение конфигурации Spark смотрите в официальной документации Spark.

Ниже приведены параметры, связанные с запросами и задачами сборки в компоненте OLAP.

Параметры начинаются с kylin.storage.columnar.sparkconf, последующая часть — это параметр Spark, используемый задачей запроса.

Параметры по умолчанию в рекомендуемом файле конфигурации kylin.properties следующие:

Компонент OLAP предоставляет настраиваемые конфигурации Spark. Настройки будут влиять на то, как будет формироваться план выполнения Spark.

Параметры по умолчанию в рекомендуемом конфигурационном файле kylin.properties следующие:

Параметры начинаются с kylin.engine.spark-conf, последующая часть — это параметр Spark, используемый для задания сборки.

Параметры по умолчанию не настроены, и они будут автоматически скорректированы и сконфигурированы в соответствии со средой кластера во время выполнения задания сборки. Если настроить эти параметры в kylin.properties, компонент OLAP сначала будет использовать конфигурацию в kylin.properties.

kylin.engine.spark-conf.spark.executor.instances
kylin.engine.spark-conf.spark.executor.cores
kylin.engine.spark-conf.spark.executor.memory
kylin.engine.spark-conf.spark.executor.memoryOverhead
kylin.engine.spark-conf.spark.sql.shuffle.partitions
kylin.engine.spark-conf.spark.driver.memory
kylin.engine.spark-conf.spark.driver.memoryOverhead
kylin.engine.spark-conf.spark.driver.cores

Конфигурация Spark Context Canary#

Sparder Canary — это компонент, используемый для мониторинга рабочего состояния Sparder.

Он будет периодически проверять, нормально ли работает текущий Sparder. Если рабочее состояние является ненормальным, например, Sparder неожиданно завершает работу или перестает отвечать на запросы, Sparder Canary создаст новый экземпляр Sparder.

Интеграция с компонентом Platform V Pangolin SE (PSQ) как источником данных#

Пример запроса импорта конфигурации доступа к СУБД Pangolin в качестве источника данных#

POST http://localhost:7070/kylin/api/projects/import/projectData
Accept: application/json
Content-Type: application/json
Authorization: Basic <base64_basic_auth>

{
  "projectList": [
    {
      "code": "<project_name>",
      "DBPangolinList": [
        "<schema_name>"
      ],
      "Pangolin": {
        "loginPass": "pangolinSource.properties",
        "jks": "pangolinSource.jks"
      }
    }
  ]
}

POST http://localhost:7070/kylin/api/internal/conf/projects/import/projectData
Accept: application/json
Content-Type: application/json
Authorization: Bearer <bearer_token>

{
  "projectList": [
    {
      "code": "<project_name>",
      "DBPangolinList": [
        "<schema_name>"
      ],
      "Pangolin": {
        "loginPass": "pangolinSource.properties",
        "jks": "pangolinSource.jks"
      }
    }
  ]
}

Интеграция с компонентом SDP AnalyticDB (Greenplum) как источником данных#

Пример запроса импорта конфигурации доступа к СУБД Greenplum в качестве источника данных#

POST http://localhost:7070/kylin/api/projects/import/projectData
Accept: application/json
Content-Type: application/json
Authorization: Basic <base64_basic_auth>

{
  "projectList": [
    {
      "code": "<project_name>",
      "DBGPList": [
        "<schema_name>"
      ],
      "Greenplum": {
        "loginPass": "greenplumSource.properties",
        "jks": "greenplumSource.jks"
      }
    }
  ]
}

POST http://localhost:7070/kylin/api/internal/conf/projects/import/projectData
Accept: application/json
Content-Type: application/json
Authorization: Bearer <bearer_token>

{
  "projectList": [
    {
      "code": "<project_name>",
      "DBGPList": [
        "<schema_name>"
      ],
      "Greenplum": {
        "loginPass": "greenplumSource.properties",
        "jks": "greenplumSource.jks"
      }
    }
  ]
}

Интеграция с Kerberos#

Динамическое распределение Spark#

В Spark ресурсной единицей является executor, что-то вроде контейнеров в YARN.

В Spark на YARN используются num-executors для указания количества исполнителей. В то время как executor-memory и executor-cores будут ограничивать память и виртуальные ядра процессора, потребляемые каждым исполнителем.

Например, если пользователь выбрал фиксированную стратегию распределения ресурсов и установил num-executor равным 3, то каждый экземпляр OLAP всегда будет содержать 4 контейнера YARN (1 для мастера приложения и 3 для исполнителя). Эти 4 контейнера будут заняты до тех пор, пока пользователь не выйдет из системы.

Таким образом, при использовании динамического распределения ресурсов Spark будет динамически увеличивать и уменьшать количество исполнителей в зависимости от нагрузки на движок запросов компонента OLAP, что значительно сэкономит ресурсы.

Для динамического распределения Spark настройте:

• Resource Management для кластера. Настройки будут отличаться из-за различных менеджеров ресурсов (YARN, Mesos, Standalone).

• Файл spark-default.conf (этот файл не зависит от среды).

Настройка Resource Manager#

HDP

1. Войдите на страницу управления Ambari, выберите Yarn → Configs → Advanced, найдите следующие настройки через фильтр и обновите: yarn.nodemanager.aux-services.spark_shuffle.class=org.apache.spark.network.yarn.YarnShuffleService.

2. Сохраните конфигурацию и перезапустите все службы.

Конфигурация компонента OLAP

Конфигурацию Spark можно переопределить в kylin.properties.

Чтобы включить динамическое распределение Spark, добавьте следующие параметры конфигурации в конфигурационные файлы Spark.

kylin.storage.columnar.spark-conf.spark.dynamicAllocation.enabled=true
kylin.storage.columnar.spark-conf.spark.dynamicAllocation.maxExecutors=5
kylin.storage.columnar.spark-conf.spark.dynamicAllocation.minExecutors=1
kylin.storage.columnar.spark-conf.spark.shuffle.service.enabled=true
kylin.storage.columnar.spark-conf.spark.dynamicAllocation.initialExecutors=3

После выполнения указанных настроек запустите компонент OLAP и проследите за текущим количеством исполнителей на странице Spark Executor.

Исполнители будут простаивать, поэтому через некоторое время их количество будет уменьшаться, пока не достигнет минимального количества в конфигурационном элементе.

Настройка очереди Hadoop#

В случае мультитенантной среды для безопасного совместного использования большого кластера каждому тенанту необходимо своевременно получать выделенные ресурсы в соответствии с ограничениями выделенных мощностей.

Для обеспечения распределения и разделения вычислительных ресурсов каждый экземпляр OLAP или проект может быть сконфигурирован для использования дополнительной очереди YARN.

Конфигурация очереди YARN на уровне экземпляра#

Создайте новую очередь планировщика мощностей YARN. По умолчанию задание, отправленное компонентом OLAP, будет отправляться в очередь YARN по умолчанию.

Измените файл kylin.properties для настройки очереди YARN, используемой в компоненте OLAP для сборки или отправки запроса (измените YOUR_QUEUE_NAME на имя вашей очереди).

Building configuration: kylin.engine.spark-conf.spark.yarn.queue=YOUR_QUEUE_NAME
Querying configuration: kylin.storage.columnar.spark-conf.spark.yarn.queue=YOUR_QUEUE_NAME

Чтобы проверить, что изменения применились, запустите задание отправки запросов. Затем перейдите в YARN Resource Manager в кластере. Задание было отправлено в переименованную очередь.

Чтобы добиться разделения вычислительных ресурсов, таким же образом настройте очередь YARN для других экземпляров OLAP.

Конфигурация очереди YARN на уровне проекта#

Технический администратор системы может установить очередь приложений YARN для проекта в разделе Настройки Расширенные настройки - Очередь приложений YARN. Более подробную информацию смотрите в документе «Руководство пользователя OLAP» в разделе «Расширенные настройки».

Параметры кеширования запросов#

По умолчанию компонент OLAP включает кеширование запросов в каждом процессе для повышения производительности запросов.

Кеширование по умолчанию#

По умолчанию компонент OLAP включает кеш запросов на уровне каждого узла/процесса. Детали конфигурации описаны ниже. Изменить их можно в файле $KYLIN_HOME/conf/kylin.properties в каталоге установки компонента OLAP.

Критерии кеширования запросов#

По умолчанию компонент OLAP не кеширует результаты всех SQL-запросов (поскольку ресурс памяти может быть ограничен). Он кеширует только медленные запросы, размер результатов которых соответствует критериям.

Кешироваться будет запрос, удовлетворяющий любой из конфигураций №1, №2, №3, а также удовлетворяющий конфигурации №4.

Критерий настраивается следующими параметрами.

Конфигурация кеш-памяти Ehcache#

По умолчанию компонент OLAP использует Ehcache в качестве кеша запросов. Настройка Ehcache необходима для управления размером и политикой кеша запросов. Чтобы заменить стандартную конфигурацию кеширования запросов, измените следующие параметры конфигурации.

Конфигурация кеш-памяти Redis#

Кеш запросов по умолчанию не может быть разделен между различными узлами или процессами, поскольку он находится на уровне процесса.

Из-за этого, когда последующие одинаковые запросы направляются на разные узлы компонента OLAP, кеш результатов первого запроса не может быть использован в режиме развертывания кластера. Поэтому можно сконфигурировать кластер Redis как распределенный кеш, который может быть общим для всех узлов компонента OLAP. Подробно параметры конфигурации описаны ниже:

В связи с несогласованностью метаданных между узлами Query и All/Job необходимо настроить переключение кеша redis kylin.cache.redis.enabled=true и kylin.server.store-type=jdbc.

Настройка отката#

Предпосылкой использования инструмента отката является то, что данные ресурса (данные OLAP-куба, словаря, моментальные снимки и т.д.) должны быть гарантированно не удалены в диапазоне времени отката.

Период хранения ресурсных данных включает в себя две конфигурации:

Настройки редактируются в конфигурационном файле kylin.properties администратором.

Настройки параметров безопасности#

Параметры интеграции с Secret Management System (SecMan)#

Для интеграции с Secret Management System (SecMan) необходимо заполнить следующие параметры:

Параметры проверки сертификатов#

Для проверки отозванных сертификатов используются следующие параметры:

Настройки редактируются в конфигурационном файле kylin.properties администратором.

Настройка аутентификации#

Компонент поддерживает несколько режимов аутентификации:

• LOCAL - аутентификация пользователя по логину и паролю локальной УЗ посредством веб-формы аутентификации компонента. В этом режиме используется схема аутентификации Basic.

• OID - аутентификация пользователя внешним компонентом IAM Proxy (AUTH), через компонент KeyCloak.SE (KCSE), с использованием OpenID Connect. В этом режиме используется схема аутентификации Bearer.

Режим аутентификации пользователя в приложении определяется параметром:

Параметры интеграции с IAM Proxy (AUTH)#

Для интеграции с IAM Proxy (AUTH) необходимо заполнить следующие параметры:

Параметры интеграции с компонентом «Единый коллектор телеметрии» (COTE) продукта Platform V Monitor#

Система поддерживает асинхронную отправку событий аудита в компонент «Единый коллектор телеметрии» (COTE).

При старте приложения происходит отправка предопределенной мета-модели для регистрации и далее каждая значимая операция в системе так же сопровождается отправкой соответствующего события в компонент COTE. Конфигурирование интеграции и отправки сообщений предопределяется набором параметров, представленных в таблицах ниже:

Базовые параметры#

Параметры настройки повторной отправки данных аудита в случае возникновения проблем при отправке#

Параметры настройки пула потоков и очереди событий для асинхронной отправки данных аудита#

Настройка аудита#

В конфигурационном файле компонента OLAP kylin.properties есть параметр конфигурации журнала аудита: kylin.metadata.audit-log.max-size=500000. Этот параметр определяет количество показываемых строк в журнале. По умолчанию значение составляет 500 000 строк. Параметр может быть изменен по мере необходимости.

По умолчанию избыточный журнал операций очищается каждое утро.

Параметры чтения дополнительных конфигурационных файлов с данными учетных записей#

В целях безопасности данные учетных записей для подключения к внешним ресурсам вынесены в отдельные файлы конфигурации.

Пути ожидаемого расположения файлов настраиваются с помощью параметров:

Параметры учетной записи подключения к БД#

Логин и пароль для подключения к БД настраиваются с помощью параметров:

Параметры учетной записи подключения к БД Hive#

Логин и пароль для подключения к БД Hive настраиваются с помощью параметров:

Параметры режима управления пользователями#

Для управления пользователями и их ролями с помощью внешнего компонента в OLAP реализована поддержка SCIM API.

Режим управления пользователями и параметры аутентификации внешнего компонента при обращении к SCIM API настраиваются с помощью параметров:

Параметры управления группами#

Параметры шифрования секретов#

В целях обучения и практики работы с инструментами бизнес-аналитики, OLAP-кубами и MDX-запросами в дистрибутиве поставляется скрипт с проектом sample_adw_hive.sh. Скрипт предназначен для автоматизированного создания проекта с преднастроенными моделями, которые содержат готовую структуру данных для имитации реальных бизнес-процессов. Более подробное описание скрипта и инструкция по его запуску находятся в документе «Создание проекта с преднастроенными моделями».