Как прочитать обновленный файл из hdfs в Spark Streaming

Question

Я использую spark stream и читаю один файл из папки hdfs.Один и тот же файл обновляется другим сервисом.Теперь я хочу прочитать обновленный файл в Spark Stream.Как мне этого добиться?

Answer 1

Вы пробовали?

streamingContext.fileStream[KeyClass, ValueClass, InputFormatClass](dataDirectory)
// or
streamingContext.textFileStream(dataDirectory) // for text file

https://spark.apache.org/docs/latest/streaming-programming-guide.html