Запись набора данных с разделами в HDFS / S3 с файлом _SUCCESS в каждом разделе

Question

при записи многораздельного набора данных в HDFS / S3 файл _SUCCESS записывается в выходной каталог после успешного завершения. Мне интересно, есть ли способ получить файл _SUCCESS, записанный в каждый многораздельный каталог?

Answer 1

В настоящее время вы можете получить желаемый результат, записав файлы непосредственно в path/to/table/partition_key1=foo/partition_key2=bar и не используя аргумент писателя Parquet partitionBy.

FWIW, я также считаю, что _SUCCESS файлы должны быть записаны в каждый раздел, особенно с учетом того, что SPARK-13207 и SPARK-20236 были разрешены.