условная агрегация с использованием pyspark - PullRequest
Новая
       6

условная агрегация с использованием pyspark

0 голосов
/ 24 ноября 2018

рассмотрим ниже как фрейм данных 

a        b  c   d   e  
africa  123 1   10  121.2
africa  123 1   10  321.98
africa  123 2   12  43.92
africa  124 2   12  43.92
usa     121 1   12  825.32
usa     121 1   12  89.78
usa     123 2   10  32.24
usa     123 5   21  43.92
canada  132 2   13  63.21
canada  132 2   13  89.23
canada  132 3   21  85.32
canada  131 3   10  43.92

Теперь я хочу преобразовать приведенный ниже оператор case в эквивалентный оператор в PYSPARK, используя кадры данных.

мы можем напрямую использовать это в операторе case, используяhivecontex / sqlcontest nut ищет традиционный pyspark nql query 

select 
case 
    when c <=10 then sum(e)
    when c between 10 and 20 then avg(e)
else 0.00 end 
from table 
group by a,b,c,d

С уважением Anvesh

1 Ответ

0 голосов
/ 24 ноября 2018

Вы можете перевести свой код SQL непосредственно в DataFrame примитивы: 

from pyspark.sql.functions import when, sum, avg, col

(df
    .groupBy("a", "b", "c", "d")  # group by a,b,c,d
    .agg(  # select 
        when(col("c") < 10, sum("e"))  #  when c <=10 then sum(e)
            .when(col("c").between(10 ,20), avg("c"))  # when c between 10 and 20 then avg(e)
            .otherwise(0))   # else 0.00
...