Как включить / отобразить вычисленные процентили в результирующий фрейм данных? - PullRequest
Новая
       15

Как включить / отобразить вычисленные процентили в результирующий фрейм данных?

0 голосов
/ 06 марта 2020

Я использую spark- sql -2.4.1v и пытаюсь найти квантили, то есть процентиль 0, процентиль 25 и т. Д. c, в каждом столбце моих данных.

Как я делаю несколько процентилей, как извлечь каждый вычисленный процентиль из результатов?

Мой фрейм данных df: 

+----+---------+-------------+----------+-----------+
|  id|     date|      revenue|con_dist_1| con_dist_2|
+----+---------+-------------+----------+-----------+
|  10|1/15/2018|  0.010680705|         6|0.019875458|
|  10|1/15/2018|  0.006628853|         4|0.816039063|
|  10|1/15/2018|   0.01378215|         4|0.082049528|
|  10|1/15/2018|  0.010680705|         6|0.019875458|
|  10|1/15/2018|  0.006628853|         4|0.816039063|
+----+---------+-------------+----------+-----------+

Мне нужно получить ожидаемый результат / результат как ниже: 

+----+---------+-------------+-------------+------------+-------------+
|  id|     date|      revenue| perctile_col| quantile_0 |quantile_10  |
+----+---------+-------------+-------------+------------+-------------+
|  10|1/15/2018|  0.010680705| con_dist_1  |<quant0_val>|<quant10_val>|
|  10|1/15/2018|  0.010680705| con_dist_2  |<quant0_val>|<quant10_val>|
|  10|1/15/2018|  0.006628853| con_dist_1  |<quant0_val>|<quant10_val>|
|  10|1/15/2018|  0.006628853| con_dist_2  |<quant0_val>|<quant10_val>|
|  10|1/15/2018|   0.01378215| con_dist_1  |<quant0_val>|<quant10_val>|
|  10|1/15/2018|   0.01378215| con_dist_2  |<quant0_val>|<quant10_val>|
|  10|1/15/2018|  0.010680705| con_dist_1  |<quant0_val>|<quant10_val>|
|  10|1/15/2018|  0.010680705| con_dist_2  |<quant0_val>|<quant10_val>|
|  10|1/15/2018|  0.006628853| con_dist_1  |<quant0_val>|<quant10_val>|
|  10|1/15/2018|  0.006628853| con_dist_2  |<quant0_val>|<quant10_val>|
+----+---------+-------------+-------------+------------+-------------+

Я уже рассчитал квантили, подобные этому, но мне нужно добавить их в выходной фрейм данных: 

val col_list = Array("con_dist_1","con_dist_2")
val quantiles = df.stat.approxQuantile(col_list, Array(0.0,0.1,0.5),0.0)

val percentile_0 = 0;
val percentile_10 = 1;

val Q0 = quantiles(col_list.indexOf("con_dist_1"))(percentile_0)
val Q10 =quantiles(col_list.indexOf("con_dist_1"))(percentile_10)

Как получить ожидаемый результат, показанный выше?

1 Ответ

2 голосов
/ 07 марта 2020

Простым решением было бы создать несколько фреймов данных, по одному для каждого столбца "con_dist", а затем использовать union для их объединения. Это можно легко сделать, используя map over col_list следующим образом: 

val col_list = Array("con_dist_1", "con_dist_2")
val quantiles = df.stat.approxQuantile(col_list, Array(0.0,0.1,0.5), 0.0)

val df2 = df.drop(col_list: _*) // we don't need these columns anymore

val result = col_list
  .zipWithIndex
  .map{case (col, colIndex) => 
    val Q0 = quantiles(colIndex)(percentile_0)
    val Q10 = quantiles(colIndex)(percentile_10)

    df2.withColumn("perctile_col", lit(col))
      .withColumn("quantile_0", lit(Q0))
      .withColumn("quantile_10", lit(Q10))
  }.reduce(_.union(_))

Окончательный кадр данных будет: 

+---+---------+-----------+------------+-----------+-----------+
| id|     date|    revenue|perctile_col| quantile_0|quantile_10|
+---+---------+-----------+------------+-----------+-----------+
| 10|1/15/2018|0.010680705|  con_dist_1|        4.0|        4.0|
| 10|1/15/2018|0.006628853|  con_dist_1|        4.0|        4.0|
| 10|1/15/2018| 0.01378215|  con_dist_1|        4.0|        4.0|
| 10|1/15/2018|0.010680705|  con_dist_1|        4.0|        4.0|
| 10|1/15/2018|0.006628853|  con_dist_1|        4.0|        4.0|
| 10|1/15/2018|0.010680705|  con_dist_2|0.019875458|0.019875458|
| 10|1/15/2018|0.006628853|  con_dist_2|0.019875458|0.019875458|
| 10|1/15/2018| 0.01378215|  con_dist_2|0.019875458|0.019875458|
| 10|1/15/2018|0.010680705|  con_dist_2|0.019875458|0.019875458|
| 10|1/15/2018|0.006628853|  con_dist_2|0.019875458|0.019875458|
+---+---------+-----------+------------+-----------+-----------+
...