Используйте Spark AWS EMR как пакетный исполнитель - PullRequest
0 голосов
/ 17 июня 2020

Можно ли использовать AWS EMR как пакетный исполнитель? И это вообще хорошая идея?

У меня есть таблица DDB, которая разбита на разделы, например 256 разделов. Поскольку размер данных довольно велик, мне нужно создать n рабочих процессов для сканирования соответствующего раздела и вызвать внешний сервисный API, чтобы завершить работу sh.

...