Мы используем DataStax Spark 6.0.
Мы отправляем задания, используя crontab для запуска каждые 5 минут. Мы написали скрипт, чтобы определить, работает ли он, чтобы избежать повторной отправки одного и того же приложения. Есть ли способ остановить отправку работы или сохранить работу в очереди на уровне Spark, чтобы избежать дублирования работ с одним и тем же приложением.
Спасибо
Ракеш
Я пытался использовать только Crontab