Количество записей в интерфейсе Spark Streaming неверно - PullRequest
Новая
       65

Количество записей в интерфейсе Spark Streaming неверно

0 голосов
/ 02 ноября 2019

Я пытаюсь найти некоторую информацию о журналировании от потоковой передачи искры, и я начал с просмотра пользовательского интерфейса, и пользовательский интерфейс всегда говорит 0 записей по всем направлениям для всех потоковых пакетов. Это явно неверно, так как я вижу, что это работает правильно. Я использую .textFileStream.

Я работаю локально на моей машине. Я тоже могу попробовать в кластере, но я сомневаюсь, что этот конкретный результат будет другим. 

  val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")
val ssc = new StreamingContext(conf, Seconds(20))
 val lines = ssc.textFileStream("wasbs://deadletters@deadlettertransactions.blob.core.windows.net/")

      val fullfilepath = "wasbs://newcontainer@deadlettertransactions.blob.core.windows.net/outputdata" 


      if(mydf.count() > 0)
         mydf.write.mode("append")
        .text(fullfilepath)
      }
    ssc.start()             // Start the computation
    ssc.awaitTermination()

Я ожидал, что обработанная запись будет больше 0, но я вижу только 0. Посмотрите на прикрепленный скриншот.

enter image description here

...