Spark Streaming читать старые файлы, а также новые - PullRequest
0 голосов
/ 09 марта 2019

Я пытаюсь читать файлы с использованием потокового воспроизведения. Я использую textFileStream для чтения из hdfs, как это:

val logStream=ssc.textFileStream(args(0))

Может получать новые файлы, созданные, но не читает файлы, уже присутствующие в каталоге hdfs, при запуске задания. Есть ли способ, которым это может быть достигнуто?

...