Создание и заполнение DStream [String] для целей тестирования - PullRequest
Новая
       8

Создание и заполнение DStream [String] для целей тестирования

0 голосов
/ 18 февраля 2019

Мне нужно провести модульное тестирование одного метода, вход которого - DStream[String].Поэтому я планировал создать DStream[String], а затем заполнить его несколькими строками.

В качестве первого подхода я использовал аналогичный вопрос, уже заданный здесь:

Программируемое создание потоков данныхв apache spark

И я написал: 

val inputData: mutable.Queue[RDD[String]] = mutable.Queue()
val inputStream: InputDStream[String] = streamingContext.queueStream(inputData)

inputData += sparkContext.parallelize(Seq("Test1"))
inputData += sparkContext.parallelize(Seq("Test2"))

val iDStream = inputStream.cache()

println("Size is: "+iDStream.count())

iDStream.foreachRDD(rdd => println(rdd))

streamingContext.start()

Но ничего не печатается.Чего мне не хватает?

...