Следующий кадр данных должен быть записан в формате Json.Но иногда это пропускает написание некоторых записей.
newDF
.select(to_json( struct( "*" ) ) as "messages")
.writeStream.format("json")
.option("path", "/home/abc/Work/files/stream/messageJSON/")
.option("checkpointLocation","/home/abc/Work/files/stream/checkPoint/")
.trigger(Trigger.ProcessingTime(30000))
.start().awaitTermination()
Почему существует несогласованность?Есть ли проблема с кодом или с проверкой, указывающей?Версия Spark - 2.2.2