Как я могу решить "Неустранимая ошибка: Недостаточно памяти ...", когда я запускаю расписание команд laravel? - PullRequest
Новая
       8

Как я могу решить "Неустранимая ошибка: Недостаточно памяти ...", когда я запускаю расписание команд laravel?

0 голосов
/ 03 сентября 2018

Моя команда такая: 

<?php
namespace App\Console\Commands;
use Illuminate\Console\Command;
use App\Models\ItemDetail;
class ImportItemDetail extends Command
{
    protected $signature = 'sync:item-detail';
    protected $description = 'sync item detail';
    public function __construct()
    {
        parent::__construct();
        ini_set('max_execution_time', 0);
        ini_set('memory_limit', '-1');
    }
    public function handle()
    {
        $path = storage_path('json/ItemDetail.json');
        $json = json_decode(file_get_contents($path), true);
        foreach ($json['value'] as $value) {
            ItemDetail::updateOrCreate(
                [ 'entry_number' => $value['Entry_Number'] ],
                [ 
                    'item_number' => $value['Item_Number'],
                    'description' => $value['Description'],
                    ....
                ]
            );
        }
    }
}

Если я запускаю комманду, возникает ошибка, подобная этой: 

Fatal error: Out of memory (allocated 255852544) (tried to allocate 8192 bytes)

В то время как я установил ini_set('memory_limit', '-1'); в конструкции

Как я могу устранить ошибку?

Примечание :

Моя запись в файле json содержит сотни тысяч данных. Поэтому проверка поля занимает много времени

Обновление

Мой ItemDetail.json вот так: 

{
  "@odata.context":"http://myapp-svr01.www.myapp.com:1224/DynamicsNAV100/ODataV4/$metadata#Collection(NAV.ODATAITEM)","value":[
    {
      "@odata.etag":"W/\"JzE2O0lBQUFBQUNIbXdrQ0FBQAD5OzE4ODQ1MDQ4NjA7Jw==\"","Entry_Number":123,"Item_Number":"9805010101","Variant_Code":"039","Posting_Date":"2018-01-02T00:00:00Z","Entry_Type":"Sale","Description":"MISC BISBAN POLOS 11MM A847","Quantity":-7200,"Source_Type":"Customer","Order_Type":" ","Sales_Amount_Actual":1800000,"ETag":"16;IAAAAACHmwkCAAAA9;1884504860;"
    },{
      "@odata.etag":"W/\"JzE2O0lBQUFBQUNIbkFrQ0FBQAD5OzE4ODQ1MDQ5MTA7Jw==\"","Entry_Number":124,"Item_Number":"9805010102","Variant_Code":"100","Posting_Date":"2018-01-02T00:00:00Z","Entry_Type":"Sale","Description":"MISC BISBAN POLOS 11MM A915","Quantity":-7200,"Source_Type":"Customer","Order_Type":" ","Sales_Amount_Actual":1800000,"ETag":"16;IAAAAACHnAkCAAAA9;1884504910;"
    }
  ]
}

Я дал только 2 записи в формате json выше. На самом деле существует около 150 000 записей

1 Ответ

0 голосов
/ 03 сентября 2018

Проблема в том, что вы читаете весь файл одновременно, вместо этого вы должны читать его порциями или построчно. Например: 

$items = [];
$file = fopen(storage_path('json/ItemDetail.json'),'r');
while (!feof($file)){
    $line = fgets($file);
    $obj = json_decode($line);
    // $obj is type stdClass
    // transform $obj to fit the update or create method
    ItemDetail::updateOrCreate( ... )
}

обновление

При работе с большими файлами вы должны смотреть на потоковый парсер.

jsonstreamingparser будет хорошим выбором.

...