Может Spark на YARN выполнить java TimerTask - PullRequest
Новая
       10

Может Spark на YARN выполнить java TimerTask

0 голосов
/ 26 апреля 2020

Я хочу запланировать запрос Hive с использованием Spark Sql каждые две минуты ， следующий код работает хорошо для локального spark.master=local[*]; но добейся sh успеха, ничего не сделав за spark.master=yarn. И это не приложение SparkStreaming. 

 // init sparkSession...
 val timer = new Timer()
    timer.schedule(new TimerTask {
      override def run(): Unit = {
        val curTime = System.currentTimeMillis()
        getDetailInfo(sparkSession)
      }
    }, 0L, 5000L)
...