Rstats, как оптимизировать read_csv с большим количеством файлов

Question

У меня есть папка csv-файлов, я пытаюсь прочитать все эти файлы, используя read_csv, он хорошо работает с 12 файлами, но после этого я получил эту ошибку

r: не могу выделить вектор размером 2.8Мб

вот ссылка на CSV-файлы, я вручную скачиваю файлы и распаковываю их http://nemweb.com.au/Reports/Archive/Daily_Reports/

library(tidyverse)
data_path <- "C:/Users/csv2/"   # path to the data
files <- dir(data_path, pattern = "*.CSV") # get file names

data <- files %>%
  # read in all the files, appending the path before the filename
  map(~ read_csv(file.path(data_path, .),col_types = cols_only(DISPATCH = col_guess(),
                                                               '1'=col_character(),
                                                               SETTLEMENTDATE = col_character(),
                                                               INTERVENTION = col_character(),
                                                               CASESUBTYPE = col_character(),
                                                               SOLUTIONSTATUS = col_character(),
                                                               NONPHYSICALLOSSES = col_character()),
                                                               skip = 1)) %>% 
  reduce(rbind)
data = rename(data,aemo='1')
data = filter(data,aemo=='2')
data = filter(data,DISPATCH=='TREGION' | DISPATCH=='DREGION' | DISPATCH=='DUNIT' | DISPATCH=='TUNIT')

Я пробовал с фредом, но формат ему не нравитсяимеет различное количество заголовков