Как поменять фрейм данных pyspark

Question

Мне нужно изменить мой фрейм данных pyspark. Есть ли способ сделать это в pyspark эффективным способом ?? Мой столбец даты и времени обратный, поэтому мне нужно сторнировать мой фрейм данных

+-------------------+-------+
|               date|value_1|
+-------------------+-------+
|2018-11-30 23:59:24|  28.02|
|2018-11-30 23:58:54|  28.02|
|2018-11-30 23:58:24|  28.03|
+-------------------+-------+

Есть ли способ сторнировать фрейм данных в pyspark?

Answer 1

Похоже, ваш фрейм данных отсортирован по столбцу date в порядке убывания. Мы можем заказать его по orderBy() или sort(), которые по сути обеспечивают те же функции:

df = df.orderBy("date", ascending=True)
# OR
df = df.sort("date", ascending=True)