я использую spark 1.6 в intellij со scala
Я пытаюсь создать потоковое приложение
код:
import domain.XYZ
import org.apache.spark.SparkContext
import org.apache.spark.sql.functions._
import org.apache.spark.streaming._
import utils.SparkUtils._
object StreamingJob {
def main(args: Array[String]): Unit = {
// setup spark context
val sc = getSparkContext("FIRSTSpark")
val sqlContext = getSQLContext(sc)
import sqlContext.implicits._
val batchDuration = Seconds(180)
val ssc = new StreamingContext(sc, batchDuration)
val inputPath = "file:///D:/spark/sourcefile/Stream"
val textDStream = ssc.textFileStream(inputPath)
textDStream.print()
ssc.start()
ssc.awaitTermination()
}
}
путь имеет два файла (какпоказано на рис.), но он не поднимается, я тестировал код с помощью простого оператора печати, но он ничего не печатает на консоли.
Кто-то Пожалуйста, помогите мне, если это известная проблема или я что-то упустил,![console not printing file content](https://i.stack.imgur.com/xWeVq.png)
![filepath](https://i.stack.imgur.com/8eusr.png)