Ошибка нехватки памяти при чтении большого файла - PullRequest
Новая
       10

Ошибка нехватки памяти при чтении большого файла

7 голосов
/ 09 декабря 2011

У меня есть большой CSV, который я хочу проанализировать и вставить в свою базу данных. У меня есть этот PHP: 

$target = '../uploads/'.$f;
$handle = fopen($target, "r");
$data = fgetcsv($handle, 0, ",");

$rows = array();

while ($data !== FALSE) {
    $rows[] =  $data;
}

fclose($handle);

if (count($rows)) {
             foreach ($rows as $key => $value) {

                  echo $value;

              }
          }

Каждый раз, когда я пытаюсь запустить свой скрипт, я получаю эту ошибку: 

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 35 bytes)

Есть идеи, как это сделать?

Ответы [ 4 ]

5 голосов
/ 09 декабря 2011

Вместо этого используйте mysqlimport

Хотя вы, безусловно, можете анализировать и создавать запросы с помощью PHP, вы получите гораздо лучшую производительность, если MySQL справится с этим напрямую.Ваша база данных поблагодарит вас. 

<?php
exec("mysqlimport mysqlimport [options] db_name textfile1");
?>

Источники:

4 голосов
/ 09 декабря 2011

Используйте стандартный оператор MySQL LOAD DATA INFILE , чтобы избежать чтения / анализа / вставки данных через PHP: 

 function import_csv( $table, $afields, $filename, $delim = ',', $enclosed = '"', $escaped = '\\',  $lineend = '\\r\\n', $hasheader = FALSE) {      
    if ( $hasheader ) $ignore = "IGNORE 1 LINES ";
    else $ignore = "";
    $q_import = 
        "LOAD DATA INFILE '" . $_SERVER['DOCUMENT_ROOT'] . $filename . "' INTO TABLE " . $table . " " .
        "FIELDS TERMINATED BY '" . $delim . "' ENCLOSED BY '" . $enclosed . "' " .
        "    ESCAPED BY '" . $escaped . "' " .
        "LINES TERMINATED BY '" . $lineend . "' " . $ignore . "(" . implode(',', $afields) . ")"
    ;
    return mysql_query($q_import);
}

В этом случае вам не нужно открывать / читать файл CSVв PHP MySQL самостоятельно обрабатывает импорт данных.

4 голосов
/ 09 декабря 2011

Вам не нужно считывать все данные csv из файла в память перед обработкой.

Вместо этого создайте цикл while, который читает из вашего файла по одной строке за раз.Каждый раз, когда вы читаете из файла, вы должны вставить строку в вашу базу данных.

Или прочитать несколько строк и вставить несколько строк одновременно.

Пример: 

   $i = 0; 
   while (($data = fgetcsv($handle, 0, ",") !== FALSE) {
        $rows[] = $data;
        $i++;
        // insert 100 rows at one time.
        if ($i % 100 === 0) {
            //insert these rows to db
            insert_to_db($rows);
            //then reset $rows
            $rows = array();
        }
    }
    insert_to_db($rows);
3 голосов
/ 09 декабря 2011

Я думаю, что эта часть неверна: 

$data = fgetcsv($handle, 0, ",");
$rows = array();
while ($data !== FALSE) {
    $rows[] =  $data;
}

Один вызов fgetcsv читает одну строку из $handle.Вам нужно поставить fgetcsv в состояние цикла: 

$handle = fopen($target, "r");
$data = fgetcsv($handle, 0, ",");
while (($row = fgetcsv($handle, 0, ",")) !== FALSE) {
    // Example insert - obviously use prepared statements/escaping/another DAL
    $db->query("INSERT INTO tbl (columns..) VALUES ({$row[0]}, {$row[1]} ... )");
}
...