Контрольная точка для многих потоковых источников - PullRequest
0 голосов
/ 26 февраля 2019

я работаю с zeppelin, я читаю много файлов из многих источников в потоковой передаче с плагинами:с именем var1_backup в качестве запроса с таким именем уже активен

***************** решение *******************

val spark = SparkSession
    .builder
    .appName("test")
    .config("spark.local", "local[*]")
    .getOrCreate()
spark.sparkContext.setCheckpointDir(path_checkpoint)

и после того, как я вызову функцию контрольной точки на фрейме данных

1 Ответ

0 голосов
/ 07 марта 2019

***************** решение *******************

val spark = SparkSession
    .builder
    .appName("test")
    .config("spark.local", "local[*]")
    .getOrCreate()
spark.sparkContext.setCheckpointDir(path_checkpoint)

и после того, как я вызову функцию контрольной точки на фрейме данных

...