Недавно я столкнулся с ситуацией, когда пишу данные, я пишу данные с перераспределением по годам, месяцам и неделям следующим образом-
df.repartition(col("year"),col("month"),col("week"))
.write.csv(".........")
одна задача заняла больше времени и никогда не выполнялась, тогда как другая была успешно завершена в течение нескольких минут, поскольку было меньше данных для обработки.
Подскажите, пожалуйста, как использовать солевой ключ для перераспределения, а также поле года, месяца и недели.