Предупреждение Spark Structured Streaming при применении объединения к наборам данных - PullRequest
Новая
       23

Предупреждение Spark Structured Streaming при применении объединения к наборам данных

0 голосов
/ 19 декабря 2018

В моем приложении Spark Structured Streaming я делаю unionByName для трех наборов данных: 

val allRecords = ds1
  .unionByName(ds2)
  .unionByName(ds3)

, где ds1 и т. Д. - это строго типизированные наборы данных.Иногда один набор данных пуст для микропакета.Когда это происходит, я получаю предупреждение: 

WARN MicroBatchExecution: Could not report metrics as number leaves in trigger logical plan did not match that of the execution plan:
logical plan leaves: (size = 8) OMITTED
execution plan leaves: (size = 7), FileScan csv OMITTED

Есть ли способ избежать получения этого предупреждения, так как это ожидаемая ситуация?

...