Импорт больших файлов CSV одновременно в R - PullRequest
Новая
       15

Импорт больших файлов CSV одновременно в R

0 голосов
/ 19 октября 2018

У меня 70 csv файлов с одинаковыми столбцами в папке, каждый из них по 0,5 ГБ.Я хочу импортировать их в один фрейм данных в R.

Обычно я импортирую каждый из них правильно, как показано ниже: 

df <- read_delim("file.csv", 
"|", escape_double = FALSE, col_types = cols(pc_no = col_character(), 
    id_key = col_character()), trim_ws = TRUE)

Чтобы импортировать все из них, закодированные таким образом, и ошибка следующим образом: аргумент delim отсутствует без значения по умолчанию 

tbl <-
list.files(pattern = "*.csv") %>% 
map_df(~read_delim("|", escape_double = FALSE, col_types = cols(pc_no = col_character(), id_key = col_character()), trim_ws = TRUE))

При использовании read_csv импортируется, но отображается только один столбец, содержащий все столбцы и значения. 

 tbl <-
 list.files(pattern = "*.csv") %>% 
 map_df(~read_csv(., col_types = cols(.default = "c")))

1 Ответ

0 голосов
/ 19 октября 2018

Во втором блоке кода вы пропускаете ., поэтому read_delim интерпретирует ваши аргументы как read_delim(file="|", delim=<nothing provided>, ...).Попробуйте: 

tbl <- list.files(pattern = "*.csv") %>% 
  map_df(~ read_delim(., delim = "|", escape_double = FALSE,
                      col_types = cols(pc_no = col_character(), id_key = col_character()),
                      trim_ws = TRUE))

Я явно указал delim= здесь, но это не является строго обязательным.Если бы вы сделали это с первой попытки, вы бы увидели 

readr::read_delim(delim = "|", escape_double = FALSE,
                  col_types = cols(pc_no = col_character(), id_key = col_character()),
                  trim_ws = TRUE)
# Error in read_delimited(file, tokenizer, col_names = col_names, col_types = col_types,  : 
#   argument "file" is missing, with no default

, что более показательно для реальной проблемы.

...