Копирование множества больших файлов из R в новую SQL db - PullRequest
0 голосов
/ 15 февраля 2020

У меня есть 6000 файлов на сервере, каждый 11M строк одного столбца. Насколько я понимаю, есть 3 шага:

  1. Подключение к SQL DB
  2. Чтение в файлах
  3. Запись их в SQL DB

Итак, я думаю, что я подключился к БД:

sqlconnect <- DBI::dbConnect(RSQLite::SQLite(), "~/folder/portal-database-output.sqlite")
my_db_file <- "~/folder/portal-database-output.sqlite"
my_db <- src_sqlite(my_db_file, create = TRUE)

А потом мне нужно прочитать каждый файл и затем скопировать его в SQL DB. Я думал о создании списка файлов (все .Rds в папке), а затем сделать карту или l oop, который создает df, копирует в БД, а затем повторяет x6000. Как я могу кодировать это?

Стоит ли вместо этого пытаться выполнить групповую вставку? Если да, то как мне это сделать?

Наконец, я не решил, должен ли результат быть в виде одной таблицы шириной 6000 или 6000 таблиц - у меня недостаточно опыта с SQL, чтобы определить, что будет проще.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...