Ошибка фильтрации после объединения в sparklyr - PullRequest
Новая
       7

Ошибка фильтрации после объединения в sparklyr

0 голосов
/ 25 апреля 2018

Мой использованный код выглядит так: (просто простое соединение) 

tbl(sc, 'dez') %>% inner_join(tbl(sc, 'deg'), by = c("timefrom" = "timefromdeg", "elemuid")) %>% 
    filter(number.x > 2500) %>% glimpse()

Содержание отдельного кадра данных не имеет значения. Само соединение будет работать. Чтобы сэкономить вычислительные мощности, я хотел бы фильтровать (или что-то еще) сразу после присоединения.

Но теперь я получаю сообщение об ошибке, что Spark не может переосмыслить переменную number.x .

Я не понимаю, потому что переменные являются частью сообщения об ошибке: 

Error: org.apache.spark.sql.AnalysisException: cannot resolve '`number.x`' given input columns: [elemname.x, kind.y, timefrom, timetodeg, timeto, kind.x, elemuid, elemname.y, number.y, number.x]; line 7 pos 7;
'Project [*]
+- 'Filter ('number.x > 2500.0)
   +- SubqueryAlias yoxgbdyqlw
      +- Project [elemuid#7505 AS elemuid#7495, elemname#7506 AS elemname.x#7496, kind#7507 AS kind.x#7497, number#7508 AS number.x#7498, timefrom#7509 AS timefrom#7499, timeto#7510 AS timeto#7500, elemname#7512 AS elemname.y#7501, kind#7513 AS kind.y#7502, number#7514 AS number.y#7503, timetodeg#7516 AS timetodeg#7504]
         +- Join Inner, ((timefrom#7509 = timefromdeg#7515) && (elemuid#7505 = elemuid#7511))
            :- SubqueryAlias TBL_LEFT
            :  +- SubqueryAlias dez
            :     +- HiveTableRelation `default`.`dez`, org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, [elemuid#7505, elemname#7506, kind#7507, number#7508, timefrom#7509, timeto#7510]
            +- SubqueryAlias TBL_RIGHT
               +- SubqueryAlias deg
                  +- HiveTableRelation `default`.`deg`, org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, [elemuid#7511, elemname#7512, kind#7513, number#7514, timefromdeg#7515, timetodeg#7516]

A collect() после присоединения не является опцией, потому что тогда у меня заканчивается память. Есть ли возможность сделать что-нибудь.

Я был бы очень рад помочь!

1 Ответ

0 голосов
/ 25 апреля 2018

TL; DR Не использовать по умолчанию suffix (c(".x", ".y")): 

set.seed(1)

df1 <- copy_to(sc, tibble(id = 1:3, value = rnorm(3)))
df2 <- copy_to(sc, tibble(id = 1:3, value = rnorm(3)))

df1 %>% 
  inner_join(df2, by = c("id"), suffix=c("_x", "_y")) %>% 
  filter(value_y > -0.836)

# # Source:   lazy query [?? x 3]
# # Database: spark_connection
#      id value_x value_y
#   <dbl>   <dbl>   <dbl>
# 1    1.  -0.626   1.60 
# 2    2.   0.184   0.330
# 3    3.  -0.836  -0.820

Проблема :

Искра допускает глубоко вложенную структуру и сложные типы.Доступ к struct осуществляется с использованием точечного синтаксиса (помните window access?) С полным путем над полями.Поэтому имена типа number.x неоднозначны.

Обычно мы избегаем запросов с обратными чертами 

`number.x`

, но, насколько мне известно, это невозможно выразить с помощью dplyrAPI (может быть, подойдут некоторые rlang трюки, но сейчас я не могу придумать ни одного).

Проблема не совсем специфична для объединений.Вы должны избегать . в именах вообще.Если по какой-либо причине у вас есть, вы всегда можете перейти к собственному Spark API и решить проблему: 

df3 <- copy_to(sc, tibble(value.x = rnorm(42)))

df3 %>% 
  spark_dataframe() %>% 
  invoke("withColumnRenamed", "`value.x`", "value_x") %>%
  sdf_register()

# # Source:   table<sparklyr_tmp_61acdbbc592> [?? x 1]
# # Database: spark_connection
#    value_x
#      <dbl>
#  1 -0.0162
#  2  0.944 
#  3  0.821 
#  4  0.594 
#  5  0.919 
#  6  0.782 
#  7  0.0746
#  8 -1.99  
#  9  0.620 
# 10 -0.0561
# # ... with more r
...