Как ускорить создание таблицы MySQL из большого файла CSV? - PullRequest
0 голосов
/ 27 июня 2019

В настоящее время я использую MySQL Workbench для создания таблицы путем импорта большого файла CSV.Файл CSV содержит около 5 миллионов записей и 100 столбцов.

Однако процесс импорта идет крайне медленно (процесс выполняется в течение двух часов).Возможно, мне нужно уменьшить количество записей или столбцов, что не является идеальным, но, вероятно, того стоило бы, если бы оно значительно сократило требуемое время.

Что более вероятно уменьшит время импорта еще больше: вдвое уменьшив числозаписей или вдвое меньше столбцов?(И есть ли более быстрый способ выполнить импорт по сравнению с использованием графического интерфейса, как описано в этой ссылке ?)

1 Ответ

1 голос
/ 27 июня 2019

Вы можете импортировать CSV в MySQL по запросу:

LOAD DATA INFILE 'data.csv' 
INTO TABLE my_table 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;
...