Как перераспределить в искре на основе столбца?

Question

Я хочу перераспределить фрейм данных на основе столбца дня.Например, у меня есть данные за 90 дней в фрейме данных, и я хочу разделить данные на основе дней, чтобы каждый день в каждом разделе

мне нужен синтаксис, подобный приведенному ниже .. df.repartition ("day",90)

Где день => столбец в кадре данных 90 => количество разделов, которые я хочу

Answer 1

Вы можете сделать это с помощью

import spark.implicits._
df.repartition(df.select($"day").count().toInt, $"day")