R: группа в sparklyr ("сумма", "считать отличным", "значит") - PullRequest
Новая
       11

R: группа в sparklyr ("сумма", "считать отличным", "значит")

0 голосов
/ 14 января 2019

Предполагается, что в рабочем каталоге размещены следующие данные: 

 >library(sparklyr)
 >library(dplyr)

 >f<-data.frame(category=c("e","EE","W","S","Q","e","Q","S"), 
          DD=c(33.2,33.2,14.55,12,13.4,45,7,3),
          CC=c(2,44,4,44,9,2,2.2,4), 
 >FF=c("A","A","A","A","A","A","B","A") )

>write.csv(f,"D.csv")##Write in working directory

Мы используем команды spark для чтения файла из рабочего каталога 

>sc <- spark_connect(master = "local", spark_home = "/home/tomas/spark-2.1.0-bin-hadoop2.7/", version = "2.1.0")


>df <- spark_read_csv(sc, name = "data", path = "D.csv", header = TRUE, delimiter = ",")

Я хочу получить матрицу, подобную следующей, в которой сгруппированы по «категории», сумма DD, рассчитать среднее значение «CC», считать по-разному в «FF»

Было бы так: 

  category SumDD MeanCC CountDistinctFF
   e       78.2    2             1
   EE      33.2    44.           1
   WW      14.55   4             1
   S       15      24            2
   Q       20.4    5.6           1

Ответы [ 3 ]

0 голосов
/ 14 января 2019

Чтобы манипулировать искровым DF, вам нужно использовать функции dplyr. В искровой среде ответ Навина будет делать, кроме последней переменной. Вместо unique вы можете попробовать n_distinct из dplyr 

df0=df%>%group_by(category)%>%
summarize(sumDD=sum(DD,na.rm=T),MeanCC=mean(CC,na.rm=T),CountDistinctFF=n_distinct(FF))

Чтобы проверить свои результаты как искровой DF, вы можете использовать: 

> glimpse(df0)
Observations: ??
Variables: 4
$ category        <chr> "e", "EE", "S", "Q", "W"
$ sumDD           <dbl> 78.20, 33.20, 15.00, 20.40, 14.55
$ MeanCC          <dbl> 2.0, 44.0, 24.0, 5.6, 4.0
$ CountDistinctFF <dbl> 1, 1, 1, 2, 1

или вы можете собрать обратно в вашу локальную систему и манипулировать, как любой фрейм данных R 

    > df0%>%collect
# A tibble: 5 x 4
  category sumDD MeanCC CountDistinctFF
  <chr>    <dbl>  <dbl>           <dbl>
1 e         78.2    2                 1
2 EE        33.2   44                 1
3 S         15     24                 1
4 Q         20.4    5.6               2
5 W         14.6    4                 1
0 голосов
/ 15 января 2019

В дополнение к ответу Антониса, позже появилась ошибка. В ходе расследования я обнаружил конфликт между пакетами, а именно: dplyr и SparkR.

Это решается установкой пакета tidyverse и вызовом команд следующим образом: 

 >library(tidyverse)

  >df0=df%>%dplyr::group_by(category)%>%dplyr::summarize(sumDD=sum(DD,na.rm=T),MeanCC=mean(CC,na.rm=T),CountDistinctFF=n_distinct(FF))



>glimpse(df0)
 Observations: ??
 Variables: 4
 $ category        <chr> "e", "EE", "S", "Q", "W"
 $ sumDD           <dbl> 78.20, 33.20, 15.00, 20.40, 14.55
 $ MeanCC          <dbl> 2.0, 44.0, 24.0, 5.6, 4.0
 $ CountDistinctFF <dbl> 1, 1, 1, 2, 1
0 голосов
/ 14 января 2019

Я не уверен, что если вы ищете решение из определенного пакета, это может быть достигнуто с помощью пакета dplyr, где мы используем group_by, используя столбец category и summarise результат, основанный на наших потребностях.

Вот пример кода для него.

Код: 

f %>% group_by(category) %>%
  summarise(sumDD = sum(DD), MeanCC = mean(CC), CountDistinctFF = length(unique(FF)))

Выход: 

  category sumDD MeanCC CountDistinctFF
  <fct>    <dbl>  <dbl>           <int>
1 e         78.2    2                 1
2 EE        33.2   44                 1
3 Q         20.4    5.6               2
4 S         15     24                 1
5 W         14.6    4                 1
...