Инструкция по миграции в Platform V DropApp для EA#
Пререквизиты#
Деплоймент инсталляции приведен согласно утвержденной схеме ниже:
Кластер Cloudera обновлен на версию 6.0.50 согласно документу Обновление с 5.1.x на 6.0.50.
Балансировщики Platform V SynGX под управлением Alteon настроены на Cloudera.
Установлен дополнительный IAM для доступа администраторов.
Доступен КТС для LBOSSE APP и LBOSSE NET.
Был выполнен запуск утилит Merger и Unpacker. Подробнее о работе с утилитами в Кратком руководстве по работе с утилитами Merger->Unpacker.
Установка в Platform V DropApp#
Настройка Devops Tools для deploy#
Подготовить окружение по установке согласно разделу Подготовке окружения в Platform V DropApp.
Выполнить подготовку пререквизитов согласно разделу Пререквизиты Platform V DropApp для работы с Jenkins Deploy Job.
Настроить настройку репозиториев для работы с Jenkins Deploy Job по разделу Подготовка репозиториев.
Выполнить все шаги по настройке Deploy job по разделу Настройка Deploy job для helm.
Миграция конфигурации из Cloudera в Platform V DropApp#
Ознакомиться с разделом Структура каталога Helm в репозиториях документа Работа с дистрибутивом конфигураций на базе HELM с описанием особенностей конфигураций на базе Helm.
Выполнить миграцию конфигурационных файлов по инструкции из файла Миграция конфигураций.
Ознакомиться с разделом Работа с окружением, переопределение параметров после миграции данных в репозиторий конфигураций функциональных приложений документа Работа с дистрибутивом конфигураций на базе HELM.
Запустить мигратор Abyss по инструкции из файла Миграция Abyss в Platform V DropApp для миграции конфигурационных файлов Abyss Cloudera (при запуске мигратора указать helm дистрибутив Abyss).
Подготовить файлы values-*.yaml для установки на стенд (в ветке репозитория конфигураций функциональных приложений, в которую произведена миграция из п.4):
Актуализировать кросс-компонентный файл values-env.yaml с описанием основных endpoints в репозитории конфигураций функциональных приложений согласно файлу по Настройке файла values-env;
Актуализировать общие параметры приложения в values-app согласно документу по Настройке файла values-app компонента;
Актуализировать параметры приложения в файлах values-abyss-
.yaml согласно документу по Настройке values-*.yaml модулей компонента; Актуализировать параметры приложения для установки на разных плечах согласно документу по Настройке параметров в рамках переопределния по разным плечам.
Шаги установки в Platform V DropApp#
Установка Platform V SynGX LBOSSE NET в качестве балансировщика на Platform V DropApp. Для этого требуется выполнить перенос 2 Platform V SynGX из под Alteon на LBOSSE:
В конфигурации LBOSSE NET указать новые healthcheck endpoint соответствующих SynGX;
Убрать соответствующие healthcheck endpoint для конфигурации Alteon;
Применить для Platform V SynGX под LBOSSE NET целевую конфигурацию Platform V DropApp (в документе Разница между конфигурационными файлами балансировщиков Cloudera и Platform V DropApp для ClientAPI представлен шаблон конфигурации).
Получить новое доменное имя для LBOSSE NET Abyss.
Выполнить предварительное конфигурирование перед установкой в Platform V DropApp:
Произвести настройку сервисов для отброса трейсов в trace collector: в values-env.yml заполнить параметр
global.endpoints.egress.tracecollector. Значение параметра - это хост trace collector из Cloudera.Выключить ротацию для archive_service, установив следующие значения для параметров (предварительно необходимо сохранить исходные значения для последующего возврата в исходное состояние после завершения миграции):
Интервал в секундах для выполнения ротации: abyss-archive.helm.appOpts.abyss.archive.scheduler_rotation_interval_sec=2592000 (1 месяц);
Интервал выполнения слияния разделов индексов: abyss-archive.helm.appOpts.abyss.archive.scheduler_partition_merge_interval_sec=2592000 (1 месяц);
Установить параметр service.archive.scheduler.partition.merge-enabled = false.
Выключить ротацию для fulltext_service установить значение для параметра service.fulltext.rotation.enable=false.
Произвести настройку Coordinator UI Platform V DropApp ЦОД 1 для выполнения запросов в LBOSSE NET с новым доменным именем.
Выполнить установку в ЦОД 1 версии 6.0.50:
Выполнить установку сервисов Abyss в Platform V DropApp (HELM_DEPLOY) по инструкции Стандартные шаги по обновлению через Jenkins;
Выполнить установку Coordinator UI в Platform V DropApp (HELM_DEPLOY) по инструкции Стандартные шаги по обновлению через Jenkins.
Выполнить установку в ЦОД 2 версии 6.0.50 аналогично предыдущему пункту.
Установить новый Coordinator UI Platform V DropApp для нового доменного имени путем добавления в IAM Admin:
Настроить LBOSS APP на новый Coordinator UI;
Добавить доменное имя для нового LBOSSE APP;
Добавить в IAM Admin новую ссылку к Coordinator UI DropApp.
Провести настройку LBOSSE APP для выполнения запросов в Coordinator UI DropApp.
В egress INDA добавить новое доменное имя LBOSSE NET.
В результате получаем следующую схему:
Смок тесты#
Провести смок тест для LBOSSE APP:
Проверить работоспособность Coordinator UI DropApp путем ручного end-to-end тестирования;
Проверить перенаправления трафика между плечами путем поочередного отключения одно из плеч Coordinator UI.
Провести смок тест для LBOSSE NET:
Создать новый тестовый dashboard с новым datasource на INDA;
Проверить запросы на Abyss DropApp с API Key;
Проверить работоспособность двух плеч путем поочередного отключения первого и второго плеча на SynGX.
Инструкция по переключению клиентского трафика на DropApp#
На плече Secondary производим переключение на новый источник данных, изменив конфигурации BUSE Secondary:
В egress добавить адрес к новому LBOSSE NET;
Перенастроить основной адрес запросов к LGDB на новое доменное имя LBOSSE NET.
На плече Secondary производим переключение на новый источник данных, изменив конфигурацию INDA Secondary:
В egress добавить адрес к новому LBOSSE NET;
Перенастроить основной адрес запросов к PVM Auth LGDB на новое доменное имя LBOSSE NET.
В результате переключения получаем схему:
Переключение AUDEI на плече Secondary. Переконфигурируем сервис AUDEI плеча Secondary на новый адрес плеча Secondary в SynGX DropApp.
Переключение COTE на плече Secondary. Перенастраиваем сервис COTE Management на использование адреса LBOSSE NET. На данном этапе весь внешний трафик плеча Secondary переведен на DropApp.
Далее проводим аналогичные шаги (1-3) для плеча PRIMARY.
Необходимо проверить, что каждое плечо DropApp в отдельности выдерживает нагрузку. Для этого необходимо произвести поочередный вывод каждого из плеч DropApp из под балансировки. Пример конфигурации для отключения каждого из плеч приведено ниже.
Опционально. Производим переключение EFS валидатор на новый кластер DropApp.
Опционально. После проведенных шагов выше, все возможные интеграции переведены на новый кластер DropApp. Далее можно переводить всю балансировку Cloudera под управление SynGX LBOSSE, постепенным добавлением в пул балансировки SynGX LBOSSe и переносом Virtual IP на новый балансировщик LBOSSE NET.
Удаляем или переносим на новое доменное имя LBOSSE APP ссылку к Coordinator UI.
Остановить сервисы Abyss в кластере Cloudera.
Включить ротацию для archive_service и fulltext_service:
Для archive_service вернуть исходное значение интервала выполнения ротации (параметр service.archive.scheduler.rotation.interval-sec) и исходное значение интервала выполнения слияния разделов индексов (параметр service.archive.scheduler.partition.merge-interval-sec).
Для fulltext_service установить значения для параметра service.fulltext.rotation.enable=true.
Выполнить переустановку archive_service и fulltext_service.
Финальная схема:
Все шаги схемы:
Отключение ЦОД1
Комментируем или удаляем строку для ЦОД1 (server 127.127.0.1) в upstream client_api, archive, fulltext, monitoring, pvm_auth.
Отключение ЦОД2
Комментируем или удаляем строку для ЦОД2 (server 127.127.0.2) в upstream client_api, archive, fulltext, monitoring, pvm_auth.