Есть ли способ разрешить точные пути к файлам DataFrame.write? - PullRequest
Новая
       42

Есть ли способ разрешить точные пути к файлам DataFrame.write?

0 голосов
/ 04 ноября 2019

Я пишу искровой DataFrame в S3 с использованием метода write, и мне было интересно, есть ли способ разрешить точные пути к выходным файлам.

Данные записываются с помощью некоторых ключей разделов, поэтомупроживает в нескольких местах. Это фрагмент чего-то похожего на то, что я использую: 

    df.write
      .format(outputFormat)
      .partitionBy(partitions: _*)
      .save(path = s3_path)

В настоящее время я решаю отдельные ключи раздела после записи и сам создаю полный путь (до сих пор мне нужно былотолько общий «каталог», поэтому я не разрешил часть - *. format).

Я думал о разрешении полного пути с помощью S3 ListObjectsV2, однако весь процесс мне кажется немного громоздким(необходимость разрешить ключи раздела - это то, чего я бы хотел избежать).

Есть ли лучший способ сделать это?

...