У меня есть куча заданий SQOOP, которые я хотел бы запустить через EMR add-step.Мой существующий предварительный метод состоит в том, чтобы запускать их параллельно, пока ресурсы YARN не будут исчерпаны.
Я замечаю, что когда я создаю связку add-step для отдельного задания SQOOP, они имеют последовательный характер.Вопрос: Есть ли способ для меня, чтобы запустить мои дополнительные шаги параллельно?(ограничение: у меня нет доступа к главному узлу для непосредственного запуска приложения.)
Я уверен, что здесь что-то упущено;это звучит как огромное ограничение, что параллельная обработка не может происходить в EMR с использованием add-step.
.. Manas
PS: я могу запустить их как несколько потоков, но потомЯ не получу журналы для отдельного приложения, которое будет запущено против YARN.