Настройки проекта#

Требуемая роль: технический администратор системы, администратор проекта.

Для настройки проекта в меню слева откройте вкладку Настройки.

Все настройки подразделяются на три уровня:

Основные настройки#

На вкладке Основные настройки содержатся следующие настройки.

../../_images/main_setting.svg

  1. Общая информация (3).

    В этом окне можно проверить название и описание текущего проекта, а также изменить описание проекта. Для этого введите текст в поле для ввода и нажмите кнопку Сохранить.

  2. Настройки оптимизации выполнения (4).

    При включении оптимизации выполнения запросы выполняются к исходным данным без использования индексов. Эта опция особенно полезна в тех случаях, когда таблицы измерений или фактов повреждены. В этом случае, при включенной настройке оптимизации выполнения, система будет обращаться к источнику данных напрямую. Если же настройка оптимизации выполнения выключена, то при наличии поврежденных таблиц отображается ошибка, запрос на получение данных не выполнится.

  3. Настройки сегментов (5).

    В этом окне настраиваются следующие параметры:

    • автоматическое слияние — система будет автоматически объединять сегменты, если они соответствуют правилам и содержат одинаковые индексы. Автоматическое слияние сегментов помогает уменьшить фрагментацию данных модели в индексе;

    • автоматическое слияние сегментов во временном диапазоне: 1 час / 1 день / 1 неделя / 1 месяц / 1 квартал / 1 год;

    • диапазон «волатильных» сегментов.

    • порог сброса — сегменты, находящиеся в пределах порога сброса, будут сохранены, остальные будут автоматически удалены;

    • создание резервных сегментов — создание сегментов без индекса.

  4. Настройки правила исключения столбца (6).

    Исключаемый столбец используется для измерения медленно изменяющихся размерностей (SCD), особенно в ситуации, когда требуется использовать SCD тип 1 для некоторых столбцов и SCD тип 2 для других.

Расширенные настройки#

Расширенные настройки включают в себя следующие разделы:

../../_images/project_more_settings_1.svg

База данных по умолчанию

После установки базы данных по умолчанию можно опускать имя базы данных в SQL-запросах при их выполнении или при импорте SQL-файла. Изменение базы данных по умолчанию может привести к недоступности сохраненных запросов или SQL-файлов. При изменении базы данных по умолчанию необходимо проявлять осторожность.

Уведомление по электронной почте

Если есть необходимость получать уведомления о нештатных заданиях, добавьте свои адреса электронной почты в поле Уведомление по электронной почте. Как только какое-либо задание загрузит пустые данные или окажется неудачным, система отправит на этот адрес письмо с уведомлением.

../../_images/project_more_settings_2.svg

Очередь приложений YARN

Требуемая роль: технический администратор системы.

После установки очереди задания будут отправляться в указанную очередь для распределения вычислительных ресурсов и разделения между проектами. Ресурс этой очереди используется для выполнения заданий, не связанных с запросами, таких как обновление данных, объединение сегментов, построение индексов, загрузка данных и выборка таблицы.

Система отправит задание в очередь YARN по умолчанию. Имя очереди YARN чувствительно к регистру. Убедитесь, что заданная очередь доступна, иначе задания могут не выполняться или отправляться в очередь по умолчанию в соответствии с текущей политикой планировщика YARN.

Многоуровневое разбиение

При активации этого переключателя модели в этом проекте могут быть разделены по другому параметру, помимо разделения по времени.

Управление снимками

Снимок является статическим представлением исходной таблицы только для чтения. Снимки могут сократить затраты на создание материализованных представлений в некоторых случаях.

Для возможности аддитивного частичного пересчета модели включите поддержку управления снимками.

../../_images/project_more_settings_3.svg

Вычисляемые столбцы

Настройка управляет отображением вычисляемых столбцов в текущем проекте. Если настройка активирована, компонент OLAP добавляет вычисляемые столбцы текущего проекта в возвращаемые схемы таблиц. В противном случае вычисляемые столбцы будут скрыты в схемах таблиц.

Активация настройки влияет на схемы таблиц в JDBC, ODBC или BI-инструментах. Не стоит часто менять эту настройку, так как это может привести к поломке проекта в BI-инструментах.

Поддержка таблицы с историей

При активации этой настройки можно использовать таблицу с историей для медленно изменяющегося измерения. В моделировании, построении и запросах могут использоваться условия больше-меньше (≥, <).

Пользовательская конфигурация проекта

Администраторы могут добавить дополнительные элементы конфигурации, необходимые при настройке проекта. Для этого можно нажать кнопку + Параметр, ввести название и значение параметра во всплывающем окне, а затем нажать кнопку OK. Если необходимо изменить или удалить добавленные элементы конфигурации, можно нажать кнопку Редактировать или Удалить в правой части списка. Эти операции вступают в силу немедленно. В этом поле можно вручную добавить некоторые конфигурации, содержащиеся в файле kylin.properties.

Настройки модели#

Важно

Доступно только в режиме LOCAL.

Требуемая роль: технический администратор системы, администратор проекта.

На вкладке Настройки модели представлена информация:

  • название модели;

  • последнее обновление;

  • изменение пользователем;

  • название настройки.

Чтобы добавить новую настройку:

../../_images/model_setting_1.svg

  1. В колонке Действия нажмите кнопку +.

  2. В выпадающем списке выберите необходимую настройку:

    • Авто-слияние — система может автоматически объединять фрагменты сегментов выше заданного порога слияния. Авто-слияние оптимизирует хранение для повышения производительности запросов.

    • Временной диапазон — авто-слияние не будет объединять самые последние сегменты, указанные в диапазоне «Volatile Range». Значение по умолчанию — 0.

    • Порог сохранения — сегменты, находящиеся в пределах порога хранения, будут сохранены. Остальные будут автоматически удалены.

    • kylin.engine.spark-conf.spark.executor.cores — количество ядер, выделенных одному Spark Executor

    • kylin.engine.spark-conf.spark.executor.instances — определяет число instance в кластере или локально.

    • kylin.engine.spark-conf.spark.executor.memory — объем памяти, выделенной одному Spark Executor.

    • kylin.engine.spark-conf.spark.sql.shuffle.partitions — количество партиций, используемых при перетасовке данных в операциях JOIN/агрегациях.

    • is-base-cuboid-always-valid — в зависимости от бизнес-сценария решите, добавлять ли индекс, содержащий измерения и меры, определенные во всех агрегируемых группах. Индекс может отвечать на запросы по нескольким агрегируемым группам, но это может повлиять на производительность запросов. Кроме того, добавление этого индекса связано с некоторыми дополнительными затратами на хранение и создание.

    • Настройки — помимо определенных конфигураций, доступно добавление некоторых расширенных настроек.

    ../../_images/model_setting_2.svg

  3. Нажмите кнопку Следующий.

  4. Заполните необходимую информацию и нажмите кнопку Отправить.

Оповещение о статусе задания#

В компоненте OLAP предусмотрена функция оповещения о статусе задания, которая отправляет электронные письма администратору, если какое-либо задание загружает пустые данные или завершилось неудачей. Это очень удобно для последующих действий, таких как устранение неполадок или инкрементальная загрузка.

Оповещение о статусе задания по электронной почте можно включить, выполнив следующие действия:

  1. Добавьте следующие параметры в конфигурационный файл $KYLIN_HOME/conf/kylin.properties.

    kylin.job.notification-enabled=true|false  # установите true, чтобы активировать настройку
kylin.job.notification-mail-enable-starttls=true|false
kylin.job.notification-mail-host=your-smtp-server  # адрес SMTP-сервера
kylin.job.notification-mail-port=your-smtp-port  # порт SMTP-сервера
kylin.job.notification-mail-username=your-smtp-account # логин пользователя SMTP
kylin.job.notification-mail-password=your-smtp-pwd # пароль пользователя SMTP
kylin.job.notification-mail-sender=your-sender-address  #  адрес отправителя

    Примечание

    Чтобы зашифровать пароль kylin.job.notification-mail:

    1. Выполните команду ./bin/kylin.sh org.apache.kylin.tool.general.CryptTool -e AES -s <password>.

    2. Настройте kylin.job.notification-mail-password=ENC('${encrypted_password}').

  2. Перезапустите компонент OLAP, чтобы настройки вступили в силу.

  3. Заполните поле Расширенные настройки → Уведомление по электронной почте, указав свои адреса электронной почты.