Выход структурированной потоковой передачи не отображается на ноутбуке Jupyter - PullRequest
Новая
       4

Выход структурированной потоковой передачи не отображается на ноутбуке Jupyter

0 голосов
/ 27 апреля 2020

У меня есть две тетради. Первый блокнот читает твиты из твиттера, используя твипы, и записывает их в сокет. Другая записная книжка читает твиты из этого сокета с использованием искровой структурированной потоковой передачи (Python) и записывает результаты в консоль. К сожалению, я не получаю вывод на консоли Jupyter. Код отлично работает на pycharm. 

spark = SparkSession \
    .builder \
    .appName("StructuredStreaming") \
    .getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

# This is Spark Structured Streaming Code which is reading streams from twitter and showing them on console.
tweets = spark \
    .readStream \
    .format("socket") \
    .option("host", "127.0.0.1") \
    .option("port", 7000) \
    .load()

query = tweets \
    .writeStream \
    .option("truncate", "false") \
    .outputMode("append") \
    .format("console") \
    .start()

query.awaitTermination()
...