Как экспортировать большой размер json корма в MYSQL таблицу? - PullRequest
Новая
       50

Как экспортировать большой размер json корма в MYSQL таблицу?

0 голосов
/ 22 апреля 2020

У меня есть скрипт PHP, который экспортирует данные из фида JSON в таблицу MYSQL, приведенную ниже, - это код, который я использую. 

<?php
@ini_set( 'max_execution_time', 0);

require_once 'db_connect.php';

/* DEFINE TABLE NAME AND SOURCE URL HERE */
$str_tbl_name   = 'table_name';
$str_source_url = 'https://www.json-feed.com/example';

/* FETCH DATA FROM RESOURCE LINK */
$str_source_content = file_get_contents($str_source_url);
$arr_data           = json_decode($str_source_content);

$str_date_time  = date('Y-m-d H:i:s');
$str_start_date = date('Y-m-d H:i:s', strtotime($arr_data->meta->start_date));
$str_end_date   = date('Y-m-d H:i:s', strtotime($arr_data->meta->end_date));
$arr_value_sql  = [];
foreach ($arr_data->data as $data) {
    /* DATA CLEANSING */
    $data->source_subregion        = !empty($data->source_subregion) ? $con_db->real_escape_string($data->source_subregion) : null;
    $data->source_country_code     = !empty($data->source_country_code) ? $con_db->real_escape_string($data->source_country_code) : null;
    $str_input_name                = !empty($data->metadata->search_name) ? $con_db->real_escape_string($data->metadata->search_name) : null;
    $data->document_url            = !empty($data->document_url) ? $con_db->real_escape_string($data->document_url) : null;
    $str_document_tags             = !empty((array) $data->document_tags) ? $con_db->real_escape_string(serialize($data->document_tags)) : null;
    $data->document_sentiment      = !empty($data->document_sentiment) ? $con_db->real_escape_string($data->document_sentiment) : null;
    $data->source_name             = !empty($data->source_name) ? $con_db->real_escape_string($data->source_name) : null;
    $data->document_publish_date   = !empty($data->document_publish_date) ? $con_db->real_escape_string($data->document_publish_date) : null;
    $str_document_matched_keywords = !empty((array) $data->document_matched_keywords) ? $con_db->real_escape_string(implode(',', $data->document_matched_keywords)) : null;
    $data->document_language_code  = !empty($data->document_language_code) ? $con_db->real_escape_string($data->document_language_code) : null;
    $str_document_key_phrases      = !empty((array) $data->document_key_phrases) ? $con_db->real_escape_string(implode(',', $data->document_key_phrases)) : null;
    $data->document_hit_sentence   = !empty($data->document_hit_sentence) ? $con_db->real_escape_string($data->document_hit_sentence) : null;
    $data->document_hidden         = ($data->document_hidden === true) ? 'TRUE' : 'FALSE';
    $str_document_authors          = !empty($data->document_authors[0]->name) ? $con_db->real_escape_string($data->document_authors[0]->name) : null;
    $data->document_city           = !empty($data->document_city) ? $con_db->real_escape_string($data->document_city) : null;

    $str_value_sql = " ("
            . "'{$data->document_publish_date}'"
            . ", '{$data->document_url}'"
            . ", '{$data->source_name}'"
            . ", '{$str_document_authors}'"
            . ", '{$data->source_country_code}'"
            . ", '{$data->source_subregion}'"
            . ", '{$data->document_language_code}'"
            . ", '{$data->source_reach}'"
            . ", '{$data->source_ave}'"
            . ", '{$data->document_sentiment}'"
            . ", '{$str_document_key_phrases}'"
            . ", '{$str_input_name}'"
            . ", '{$str_document_matched_keywords}'"
            . ", '{$data->document_city}'"
            . ")";
    array_push($arr_value_sql, $str_value_sql);
}

Теперь проблема в том, если JSON подача данных небольшого размера ниже 100 МБ, все идет хорошо. Но один из каналов JSON, который у меня есть, имеет размер 1,5 ГБ, а PHP не хватает памяти даже после того, как я выделил ему 8 ГБ памяти.

Как мне сделать это в одном сценарии выполнить или как изменить сценарий, чтобы он разбивал фид JSON и экспортировал данные по 500 строк за раз в MYSQL таблицу.

1 Ответ

0 голосов
/ 22 апреля 2020

Так что относительно того, что я сказал в комментарии:

В основном, когда вы создаете массив str_value_sql, не выводите sh весь файл, делайте для l oop как 

for (i=1000; i<number_lines_in_feed; i+=1000) {
  for (j=0; j<i; j++) {
    array_push($arr_value_sql, $str_value_sql);
  }
  run sql query for insert
}

учтите, что это всего лишь быстрый пример, но идея здесь в том, что вы анализируете json объект данных по 1000 элементов за раз, и это делает arr_value_ sql намного меньше и, вероятно, будет уменьшите объем памяти запросов и сделайте ее намного меньше и т. д. c ... Я бы посоветовал попробовать это ... Надеюсь, это соответствует структуре вашего JSON

...