У меня есть 6000 файлов на сервере, каждый 11M строк одного столбца. Насколько я понимаю, есть 3 шага:
- Подключение к SQL DB
- Чтение в файлах
- Запись их в SQL DB
Итак, я думаю, что я подключился к БД:
sqlconnect <- DBI::dbConnect(RSQLite::SQLite(), "~/folder/portal-database-output.sqlite")
my_db_file <- "~/folder/portal-database-output.sqlite"
my_db <- src_sqlite(my_db_file, create = TRUE)
А потом мне нужно прочитать каждый файл и затем скопировать его в SQL DB. Я думал о создании списка файлов (все .Rds в папке), а затем сделать карту или l oop, который создает df, копирует в БД, а затем повторяет x6000. Как я могу кодировать это?
Стоит ли вместо этого пытаться выполнить групповую вставку? Если да, то как мне это сделать?
Наконец, я не решил, должен ли результат быть в виде одной таблицы шириной 6000 или 6000 таблиц - у меня недостаточно опыта с SQL, чтобы определить, что будет проще.