ConstantInputDStream.print () ничего не делает - PullRequest
Новая
       126

ConstantInputDStream.print () ничего не делает

0 голосов
/ 14 июля 2020

Я пытаюсь напечатать простой DStream, но безуспешно. См. Код ниже. Я использую записную книжку Databricks в Azure. 

import org.apache.spark.streaming.{ StreamingContext, Seconds }
val ssc = new StreamingContext(sc, batchDuration = Seconds(5))

ssc.checkpoint(".")

val rdd = sc.parallelize(0 to 3)
import org.apache.spark.streaming.dstream.ConstantInputDStream
val stream = new ConstantInputDStream(ssc, rdd)

println("start")

stream.print()

ssc.start()

Результат: 

start

warning: there was one feature warning; re-run with -feature for details
import org.apache.spark.streaming.{StreamingContext, Seconds}
ssc: org.apache.spark.streaming.StreamingContext = org.apache.spark.streaming.StreamingContext@4d01c7b1
rdd: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[1] at map at command-3696830887613521:7
import org.apache.spark.streaming.dstream.ConstantInputDStream
stream: org.apache.spark.streaming.dstream.ConstantInputDStream[Int] = org.apache.spark.streaming.dstream.ConstantInputDStream@12b9db22

Я так или иначе ожидаю увидеть 0,1,2 .

Я также пробовал добавить 

ssc.awaitTermination()

, но это никогда не заканчивается. Смотрите скриншот: введите описание изображения здесь

...