Агрегация с мин в писпарке - PullRequest
0 голосов
/ 01 февраля 2019

Я пытаюсь объединить даты дат на минимальное значение.Я пытался использовать groupby (), но он выдает ошибку.

   history= history.selectExpr('aaa'\
        , 'bbb'\
        , 'ccc'\
        , 'date')

        history=history.groupBy()('aaa','bbb','ccc',min('date'))

Я пытался сначала

       history= history.selectExpr('aaa'\
            , 'bbb'\
            , 'ccc'\
            , min('date'))

, но он не работал ни

Спасибо:)

1 Ответ

0 голосов
/ 04 февраля 2019

Вы можете просто сделать это:

from pyspark.sql import functions as F
history.groupBy("AAA","BBB","CCC").agg(F.min("date"))
...