Импортируйте большой CSV-файл в базу данных MySQL, используя PHP

Question

У меня очень большой файл CSV (150 МБ). Каков наилучший способ импортировать его в MySQL? Я должен сделать некоторые манипуляции в PHP, прежде чем вставить его в таблицу MySQL.

Answer 1

Вы можете взглянуть на ЗАГРУЗКА ДАННЫХ INFILE в MySQL.

Возможно, вы сможете выполнить манипуляции после загрузки данных в MySQL, а не сначала читать их в PHP. Сначала сохраните необработанные данные во временной таблице, используя LOAD DATA INFILE, а затем преобразуйте данные в таблицу назначения, используя следующую инструкцию:

INSERT INTO targettable (x, y, z)
SELECT foo(x), bar(y), z
FROM temptable

Answer 2

Я бы просто открыл его с помощью fopen и использовал fgetcsv для чтения каждой строки в массив. псевдо-php следует:

mysql_connect( //connect to db);

$filehandle = fopen("/path/to/file.csv", "r");
while (($data = fgetcsv($filehandle, 1000, ",")) !== FALSE) {
    // $data is an array
    // do your parsing here and insert into table
}

fclose($filehandle)