Sparklyr заполнить строкой

Question

Я хотел бы заполнить значения (заменив NA на предыдущее значение) в кадре данных sparklyr, поле содержит строки.

По сути, я хотел бы преобразовать это:

ID, String
1    a
2    NaN
3    b
4    NaN

к этому:

ID, String
1    a
2    a
3    b
4    b

Есть ли способ сделать это в sparklyr?

Answer 1

Это сработало для вашего примера:

library(sparklyr)
library(tidyverse)

sc <- spark_connect(master = "local")

df<-tibble(ID=c(1,2,3,4), String=c("a",NaN,"b",NaN))

tbl_df<-sdf_copy_to(sc,df,"tbl_df",overwrite = TRUE)

tbl_df<-tbl_df%>%mutate(String=ifelse(String=="NaN",lag(String,order = ID),String))

> glimpse(tbl_df)
Observations: ??
Variables: 2
$ ID     <dbl> 1, 2, 3, 4
$ String <chr> "a", "a", "b", "b"