Spark Streaming не берет файл с пути - PullRequest
0 голосов
/ 29 сентября 2019

я использую spark 1.6 в intellij со scala

Я пытаюсь создать потоковое приложение

код:

import domain.XYZ
import org.apache.spark.SparkContext
import org.apache.spark.sql.functions._
import org.apache.spark.streaming._
import utils.SparkUtils._

object StreamingJob {

  def main(args: Array[String]): Unit = {
    // setup spark context
    val sc = getSparkContext("FIRSTSpark")
    val sqlContext = getSQLContext(sc)
    import sqlContext.implicits._

    val batchDuration = Seconds(180)

    val ssc = new StreamingContext(sc, batchDuration)

    val inputPath = "file:///D:/spark/sourcefile/Stream"


    val textDStream = ssc.textFileStream(inputPath)
    textDStream.print()


    ssc.start()
    ssc.awaitTermination()

  }
}

путь имеет два файла (какпоказано на рис.), но он не поднимается, я тестировал код с помощью простого оператора печати, но он ничего не печатает на консоли.

Кто-то Пожалуйста, помогите мне, если это известная проблема или я что-то упустил,console not printing file content

filepath

...