Spark Structured Streaming - невозможно распечатать данные в журналах

Question

Я использую данные из Kafka topi c с форматом данных JSON, используя код Spark Structured Streaming в Scala и записываю данные в другой приемник kafka.

Мы отправляем задание в режиме кластера, и мы пытаемся проверить нет. сообщений, поступающих в одной партии, но мы не можем видеть нет. сообщений, поступающих в пакете, записываемых в журналы.

Можно ли узнать нет сообщений, поступающих в пакете, для записи в файл журнала.

Answer 1

В соответствии с Руководством по интеграции Spark Structured Streaming + Kafka вы получите следующие данные для каждой строки источника:

Column         Type
key            binary
value          binary
topic          string
partition      int
offset         long
timestamp      long
timestampType  int

Используя смещение, вы сможете записать количество смещений, которые вы обрабатываете.