У меня есть простое java приложение, которое использует java .util.Timer для запуска SparkSession с некоторыми фиксированными интервалами, все работает, когда я устанавливаю spark-submit --deploy-mode client. Однако, когда я устанавливаю --deploy-mode cluster таймер никогда не срабатывает. Есть указатели?
ОБНОВЛЕНИЕ: я только что понял, что спарк не работает внутри run(), который я реализовал для Таймера