У меня есть задания pyspark, а также некоторые скрипты python для предварительной обработки наборов данных, а затем запускаю задания pyspark.
Просто интересно, есть ли лучшие инструменты для заданий PYSPARK workflow ?Смогут ли Control-m и / или Jenkins сделать это?