Найти соотношение в сгруппированных данных в DataFrame - PullRequest
Новая
       12

Найти соотношение в сгруппированных данных в DataFrame

0 голосов
/ 27 мая 2019

Вот кадр данных - в основном, есть два возможных типа - X и Y для разных источников A, B, C, D ... 

Source | Type
-------------------
  A    |  X
  A    |  Y
  B    |  X
  C    |  Y
  A    |  X
  D    |  Y
 ...   | ...

Конечная цель - собрать процентное соотношение: ratio(X in A) = count(X) / (count(X) + count(Y))

Итак, в нашем примере, ratio(X in A) = 2 / (2 + 1) = 2 / 3 ~ 0.667

Очень просто, но я не могу понять, как это сделатьв один выбор с использованием только потокового API v2 (структурированная потоковая передача, датафреймы)?С моей точки зрения, это возможно только через map функции ...

Это то, что у меня сейчас есть - разбросанные подсчеты для X и Y типов 

        msgDataFrame
                .select(SOURCE, TYPE)
                .where(msgDataFrame.col(TYPE).equalTo("X"))
                .groupBy(SOURCE)
                .count()
                .show(); // <-- gives me count for 'X'-es

        msgDataFrame
                .select(SOURCE, TYPE)
                .filter(msgDataFrame.col(TYPE).equalTo("Y"))
                .groupBy(SOURCE)
                .count()
                .show(); // <-- gives me count for 'Y'-cs

1 Ответ

1 голос
/ 28 мая 2019

Это должно работать: 

msgDataFrame
.select("SOURCE", "TYPE")
.groupBy("SOURCE").pivot("TYPE", Seq("X", "Y")).agg(count(col("TYPE")))
.withColumn("Ratio", col("X") / (col("X") + col("Y")))
.show
...