Выбор N строк в R с помощью Sparklyr

Question

Я пытаюсь выделить отдельные средние строки SparkDataframe с помощью Sparklyr.

Я искал его и не нашел его (только head и tail функций, но я не хочу их).Есть ли функция sparklyr, которая делает то же самое, что и традиционный R, играя с размерами информационного кадра?Мне нужно создать фрейм данных R с n: m строками SparkDataframe.

Например, если n = 1 и m = 5:

Традиционный R

data(iris)

iris2 <- iris[1 : 5, ]

Sparklyr

sc <- spark_connect(master = "local")
iris_tbl <- sdf_copy_to(sc, iris, name = "iris", overwrite = TRUE)

Советы: я просматривал slice () , но при кодировании возникает ошибка:

iris2 <- iris_tbl %>% slice(1:5) %>% collect()

no applicable method for 'slice' applied to an object of class "c('tbl_spark', 'tbl_sql', 'tbl_lazy', 'tbl')"

Спасибо!

Answer 1

Создайте столбец индекса, а затем отфильтруйте верхний и нижний индексы.Поэтому, если я хочу сохранить 5: 7, я делаю:

iris_tbl <- sdf_copy_to(sc, iris, name = "iris", overwrite = TRUE) %>%
  sdf_with_sequential_id(id = "index") %>%
  filter(5<=index, index<=7)

Надеюсь, это поможет