Я сталкиваюсь с проводной ситуацией.Я пытаюсь читать из оракула и записывать в папку hdfs в паркетных файлах с помощью spark-sql 2.3.1.Ниже приведен фрагмент моего кода:
df.write.format("parquet")
.mode("overwrite")
.partitionBy(partitionColumn)
.save(parquet_file)
Когда я запускаю этот код локально, он работает нормально, но когда я запускаю его на кластере apache-spark, он не дает никаких результатов в целевой папке.,
Не уверен, что не хватает, но я не вижу ошибок в журналах.Довольно интересно, когда я уменьшаю количество записей таблицы оракулов, она создает папки, как и ожидалось.Как решить эту проблему?