AWS Batch - пример многоузловых параллельных пакетов - PullRequest
0 голосов
/ 28 ноября 2018

Мы рассматриваем варианты решения для переноса пакетных процессов мэйнфреймов в AWS.В настоящее время существует последовательность из 8 пакетных процессов COBOL.Первый пакетный процесс считывает данные VSAM find и DB2 как входные данные, обрабатывает и передает выходные данные пакетному процессу 2 и т. Д.52 таких последовательности по 8 пакетных процессов каждая, выполняемых параллельно, два раза в месяц.

Мы смотрим на реализацию этого с помощью AWS Batch: 1. Существующее локальное приложение помещает файлы VSAM и вывод DB2 в корзину S3.2. Запускается лямбда-функция AWS, которая, в свою очередь, порождает новый пакетный процесс AWS. 3. Это будет многоузловой пакет с 8 заданиями / задачами / узлами.Каждый узел будет образом докера приложения Java, написанного из существующего пакетного процесса мэйнфрейма.Таким образом, было бы 8 таких приложений Java, работающих внутри контейнеров Docker.И они должны быть вызваны в последовательности 1-> 2 .....-> 8.4. Каждый раз, когда файлы вставляются в корзину S3, шаги 2 и 3 повторяются.Приблизительно 52 партии в параллельЕсли кто-то разработал что-то подобное, вы можете поделиться деталями или архитектурой?2. Как взаимодействуют 8 узлов / заданий / заданий / Java-приложений?Предоставляет ли AWS Batch что-то из коробки или Java-приложению нужен собственный код для взаимодействия, например, aws-rds в шаблоне интеграции с общей базой данных?3. Имеется ли в AWS Batch встроенная функция мониторинга для многоузловых параллельных партий?Могу ли я начать останавливать работу или пакет вручную?4. Как я могу определить последовательность выполнения 8 заданий?5. Любое альтернативное, более простое и экономичное решение, чем AWS Batch?

Заранее спасибо.Джигар

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...