Вкладка потоковой передачи не отображается для структурированной потоковой передачи

Question

Я использую структурированную потоковую передачу для чтения csvs и записи в kafka. Вкладка потоковой передачи не отображается в пользовательском интерфейсе Spark (не используя потоковый контекст).

val userSchema = new StructType().add("name", "string").add("age", "integer")
val csvDF = spark
  .readStream
  .option("sep", ";")
  .schema(userSchema)      // Specify schema of the csv files
  .csv("/path/to/directory") 

Как получить потоковые метрики в пользовательском интерфейсе?

Answer 1

Чтобы увидеть некоторые метрики (в консоли), вам нужно добавить прослушиватель

spark.streams.addListener(new StreamingQueryListener {
  override def onQueryStarted(event: StreamingQueryListener.QueryStartedEvent): Unit = logger.debug(s"QueryStarted [id = ${event.id}, name = ${event.name}, runId = ${event.runId}]")

  override def onQueryProgress(event: StreamingQueryListener.QueryProgressEvent): Unit = logger.warn(s"QueryProgress ${event.progress}")

  override def onQueryTerminated(event: StreamingQueryListener.QueryTerminatedEvent): Unit = logger.debug(s"QueryTerminated [id = ${event.id}, runId = ${event.runId}, error = ${event.exception}]")
})

QueryProgressEvent, отображающий информацию о смещении, водяных знаках, источнике, приемниках и т. Д.

Это видео может помочь вам: Мониторинг приложений со структурированной потоковой передачей