Использование программного компонента#

Базовые функции сервиса#

К основным функциям сервиса Batch Tasks можно отнести:

  • создание, обновление, удаление Очереди;

  • создание Задач для Очереди;

  • управление нагрузкой на клиентский сервис;

  • запуск Очередей в виде вызовов API по протоколу REST.

Примеры сценариев использования#

Сценарий 1. Обработка событий по продукту клиента#

Вводные данные#

Дано:

  1. Некоторый продукт клиента.

  2. События разного вида, созданные по продукту клиента.

Note

Количество событий не ограничено (существует возможность автоматически управлять нагрузкой на инфраструктуру и при необходимости увеличивать/уменьшать интенсивность обработки в рамках заданных пределов).

Note

Количество продуктов не ограничено.

  1. Каждый вид события имеет:

    • приоритет (означает, что событие типа А должно обработаться раньше, чем событие В для этого клиента);

    • окно возможности для обработки.

  2. Бизнес-логика обработки каждого вида событий.

Необходимо:

  1. Обработать события по продукту в соответствии с приоритетом и окном возможности.

  2. Уменьшать или увеличивать поток обработки событий в зависимости от доступности ресурсов БД и прочей инфраструктуры.

Решение#

Обработка продуктов клиента#

  1. С помощью ежедневно выполняемого задания (Job) через API Batch Tasks закройте прошлую очередь (для очистки сущностей) и создайте новую очередь для обработки событий.

  2. По мере появления событий в очередь через API Batch Tasks складываются задачи (см. ниже подробный пример сценария взаимодействия с сервисом).

  3. Batch Tasks запускает задачи согласно зависимостям и указанным значениям в параметре scheduleTime.

  4. Необходимо совместное использование сервисов Batch Scheduler и Batch Tasks.

Управление нагрузкой#

Через API или UI сервиса Batch Tasks можно управлять нагрузкой на клиентский сервис (HttpTarget):

  1. С помощью параметра maxRunningTasks отрегулируйте количество одновременно обрабатываемых Задач.

  2. Чтобы глобально снизить/увеличить процент нагрузки, пометьте все очереди тегом.

Пример создания зависимой задачи с заданным окном возможности выполнения#

Для создания Задачи, условие начала выполнения которой будет зависеть от успешности выполнения другой Задачи, выполните следующие действия:

  • Если блокирующая Задача еще не создана, создайте ее с помощью UI или API сервиса Batch Tasks, указав в качестве description значение <clientID>-<eventType> для использования в дальнейшем поиске задач для зависимостей.

  • Если блокирующая Задача уже создана:

    1. Узнайте идентификатор блокирующей Задачи, воспользовавшись поиском по ключевому description: <clientID>-<eventType>.

    2. Создайте зависимую Задачу, при этом:

      • укажите идентификатор блокирующей Задачи в качестве значения параметра для атрибута dependsOn для зависимой Задачи,

      • укажите для атрибута scheduleTime создаваемой Задачи значение начала окна возможностей, чтобы запустить Задачу в рамках окна возможностей.

Сценарий 2. Обработка кредитного портфеля#

Вводные данные#

Дано:

  1. Кредитный портфель банка (N банков с общим объемом Х млн продуктов).

  2. Бизнес-логика формирования событий.

  3. Бизнес-логика обработки событий.

  4. Расписание (окно возможности) формирования и обработки событий конкретного банка.

Необходимо:

  1. Обработать кредитный портфель банка в выделенное окно возможности.

  2. Уменьшать или увеличивать поток обработки событий в зависимости от доступности ресурсов БД и прочей инфраструктуры.

Решение#

Бизнес-логика обработки события должна быть реализована как HTTP API. Также необходимо совместное использование сервисов Batch Scheduler и Batch Tasks.

  1. На каждый из банков создается задание (Job) через сервис Batch Scheduler. Время старта Задания — начало окна возможностей. Задание вызывает HTTP API на стороне клиента.

  2. HTTP API на стороне клиента выполняет следующую логику:

  • запрос на создание Очереди через Batch Tasks API. На основе количества и времени обработки каждого события возможно изменять параметр количества одновременно обрабатываемых Задач (maxRunningTasks);

  • накопленные события ставятся в очередь в виде задач (Task).

  1. При запуске задачи из Очереди вызывается HTTP API c бизнес-логикой обработки события.

Управление нагрузкой#

Через API или UI сервиса Batch Tasks доступны следующие возможности для управления нагрузкой на клиентский сервис (HttpTarget):

  1. С помощью параметра maxRunningTasks регулировать количество одновременно обрабатываемых Задач.

  2. С помощью параметра label снижать или увеличивать процент нагрузки обрабатываемых Очередей.

Сценарий 3. Отправка уведомлений#

Вводные данные#

Дано:

  • список держателей кредитного договора;

  • информация по условиям кредитного договора.

Необходимо:

  • уведомление о внесении платежа приходит в день платежа в 12.00.

Решение#

Бизнес-логика обработки события должна быть реализована как HTTP API. Также необходимо совместное использование сервисов Batch Scheduler и Batch Tasks.

  1. Сервис Batch Scheduler в 12:00 текущего дня запускает Задание (Job) на выполнение.

  2. Задание создает в сервисе Batch Tasks Очередь (Queue) и Задачи (Tasks) для этой Очереди, состоящей из списка лиц, которым необходимо внести сегодня платеж.

  3. Пользователь вызывает метод heartBeat через каждые 5 мин для мониторинга статуса выполнения Задания.

  4. Задачи начинают выполняться с начала Очереди, отправляя уведомления о платеже по списку из указанных контактов (Очередь в процессе выполнения может дополняться новыми Задачами).

  5. При выполнении последней Задачи (отправки последнего уведомления) пользователь вызывает финальный метод callback для завершения работы Очереди.

  6. Пользователь отправляет финальный метод callback для завершения работы Задания (Job).

Управление нагрузкой#

Через API или UI сервиса Batch Tasks можно управлять нагрузкой на клиентский сервис (HttpTarget):

  1. С помощью параметра maxRunningTasks отрегулируйте количество одновременно обрабатываемых Задач.

  2. Чтобы глобально снизить/увеличить процент нагрузки, объедините Очереди в группы (с помощью параметра label).