Как лучше всего импортировать большой CSV-файл в нормализованную реляционную базу данных (с несколькими таблицами) - PullRequest
0 голосов
/ 30 ноября 2018

Это структура моей базы данных.В настоящее время у меня есть большой CSV-файл, который содержит все поля.Я имею в виду несколько решений:

  1. Разделить CSV на несколько файлов, нормализовать их и затем импортировать все CSV в SQL.
  2. Сначала импортировать большой CSV в SQL, а затем разделитьих в базе данных

Я все еще на стадии изучения SQL, поэтому я хочу найти наивный способ импорта данных.Какие-либо предложения?enter image description here

1 Ответ

0 голосов
/ 30 ноября 2018

Это слишком долго для комментария.

Я бы перенес ваш гигантский CSV-файл в промежуточную таблицу - вы можете даже захотеть, чтобы все поля были строками, если могут возникнуть проблемы с преобразованием данных.

Затем используйте промежуточную таблицу для создания таблиц в вашей модели данных.Если вы используете Postgres, вы можете настроить один набор CTE для загрузки во все таблицы в одном выражении.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...