Как прочитать файл паркета в R, не используя пакеты spark?

Question

Я мог бы найти много ответов в Интернете, используя sparklyr или различные пакеты свечей, которые на самом деле требуют раскрутки кластера искр, что является накладными расходами.В Python я мог бы найти способ сделать это, используя "pandas.read_parquet" или стрелку Apache в Python - я ищу что-то похожее на это.

Answer 1

Вы можете просто использовать пакет со стрелками:

install.packages("arrow")
library(arrow)
read_parquet("myfile.parquet")

Answer 2

С сеткой вы можете использовать панд из python для чтения файлов паркета.Это может избавить вас от необходимости запускать инстанс искры.Может потерять производительность при сериализации, пока apache arrow не выпустит свою версию.Как вышеупомянутый комментарий упоминается.

library(reticulate)
library(dplyr)
pandas <- import("pandas")
read_parquet <- function(path, columns = NULL) {

  path <- path.expand(path)
  path <- normalizePath(path)

  if (!is.null(columns)) columns = as.list(columns)

  xdf <- pandas$read_parquet(path, columns = columns)

  xdf <- as.data.frame(xdf, stringsAsFactors = FALSE)

  dplyr::tbl_df(xdf)

}

read_parquet(PATH_TO_PARQUET_FILE)