Сохранить элементы набора данных в файлы с указанным путем

Question

У меня есть набор данных класса случая события, который я хотел бы сохранить в нем строковый элемент json в файле на s3 с таким путем, как bucketName / service / yyyy / mm / dd / hh / [SomeGuid] .gz

Так, например, класс случая событий выглядит так:

case class Event(
  hourPath: String,  // e.g. bucketName/service/yyyy/mm/dd/hh/ 
  json: String  // The json line that represents this particular event.
  ... // Other properties used in earlier transformations.
)

Есть ли способ сохранить набор данных, в который мы записываем события, относящиеся к определенному часу, в файл на s3?

Вызов функции partitionBy для DataframeWriter - самый близкий, который я могу получить, но путь к файлу не совсем то, что я хочу.