Удалить последовательные дубликаты в кадре данных pyspark - PullRequest
Новая
       7

Удалить последовательные дубликаты в кадре данных pyspark

0 голосов
/ 03 сентября 2018

Имеет такой фрейм данных: 

## +---+---+
## | id|num|
## +---+---+
## |  2|3.0|
## |  3|6.0|
## |  3|2.0|
## |  3|1.0|
## |  2|9.0|
## |  4|7.0|
## +---+---+

и я хочу удалить последовательные повторы и получить: 

## +---+---+
## | id|num|
## +---+---+
## |  2|3.0|
## |  3|6.0|
## |  2|9.0|
## |  4|7.0|
## +---+---+

Я нашел способов сделать это в Пандах, но ничего в Pyspark.

1 Ответ

0 голосов
/ 04 сентября 2018

Ответ должен работать так, как вы хотите, однако может быть место для некоторой оптимизации: 

from pyspark.sql.window import Window as W
test_df = spark.createDataFrame([
    (2,3.0),(3,6.0),(3,2.0),(3,1.0),(2,9.0),(4,7.0)
    ], ("id", "num"))
test_df = test_df.withColumn("idx", monotonically_increasing_id())  # create temporary ID because window needs an ordered structure
w = W.orderBy("idx")
get_last= when(lag("id", 1).over(w) == col("id"), False).otherwise(True) # check if the previous row contains the same id

test_df.withColumn("changed",get_last).filter(col("changed")).select("id","num").show() # only select the rows with a changed ID

Выход: 

+---+---+
| id|num|
+---+---+
|  2|3.0|
|  3|6.0|
|  2|9.0|
|  4|7.0|
+---+---+
...