У меня есть очень большой файл данных (my_file.dat), содержащий 31191984 строк нескольких переменных.Я хотел бы программно импортировать этот набор данных в R небольшими частями, например, фреймами данных по 1 миллиону строк.По этой ссылке предлагается использовать read.table() с опцией nrows.Он работает для первого раунда из 1 миллиона строк с помощью этой команды:
my_data <- read.table("path_to_my_file.dat", nrows = 1e+06)
Как автоматизировать эту процедуру для следующих раундов по 1 миллиону строк, пока все части не будут импортированы в виде фреймов данных R?Мне известно, что одним из вариантов может быть сохранение данных в базе данных SQL и разрешение R на SQL.Однако я ищу только R конкретное решение.