Я пытаюсь сгенерировать файл из Dataframe, который я создал в AWS-Glue, я пытаюсь дать ему конкретное имя, я вижу, что большинство ответов о переполнении стека на самом деле использует модули файловой системы, но здесь этот конкретный файл CSVгенерируется в S3, также я хочу дать файлу имя при генерации, а не переименовывать его после того, как он сгенерирован, есть ли способ сделать это?
Я пытался использовать df.save (s3:: //PATH/filename.csv), который фактически создает новый каталог в S3 с именем filename.csv, а затем генерирует часть - *. Csv внутри этого каталога
df.repartition(1).write.mode('append').format('csv').save('s3://PATH').option("header", "true")