Невозможно прочитать секционированную таблицу кустов, созданную из потоковой структурированной искры, используя

Question

interval2    
  .writeStream 
  .format("parquet") 
  .option("path","/user/usera/interval27e") 
  .partitionBy("year","month","day","mm") 
  .trigger(processingTime='15 seconds') 
  .option("checkpointLocation", "/user/usera/checkpoint27e") 
  .start()

Я могу видеть секционированную структуру в hdfs, но при попытке прочитать таблицу улья получаю нулевой результат

Answer 1

Пожалуйста, попробуйте с кодом ниже:

val dataWrite =  interval2    
    .writeStream
    .format("parquet")
    .partitionBy("year","month","day","mm")
    .option("checkpointLocation", "/user/usera/checkpoint27e")
    .outputMode(OutputMode.Append).trigger(Trigger.ProcessingTime("15 seconds"))
    .start("/user/usera/interval27e")

  dataWrite.processAllAvailable()