Нужен эффективный по времени метод импорта большого файла CSV через PHP в несколько таблиц MySQL

Question

Хорошо, у меня здесь есть серьезные проблемы.Я новичок в этом сайте и плохо знаком с импортом данных CSV через PHP, но я не новичок в программировании.

В настоящее время я работаю над созданием Менеджера по работе с клиентами.Мне нужно создать скрипт для импорта файла, который будет заполнять базу данных лидами.Основная проблема здесь заключается в том, что данные о лидерах состоят из компаний и сотрудников указанной компании.Кроме того, несколько других таблиц, таких как платежная информация, отделены от основных таблиц.

У меня есть рабочий скрипт, который позволит пользователям отображать импортированные данные в определенные строки и столбцы.

function mapData($file) {
    // Open the Text File
    $fd = fopen($file, "r");

    // Return FALSE if file not found
    if(!$fd) {
        return FALSE;
    }

    // Get the First Two Lines
    $first = 0;
    $data = array();
    while(!feof($fd)) {
        if($first == 0) {
            $cols = fgetcsv($fd, 4096);
            $data['cols'] = array();
            if(is_array($cols) && count($cols)) {
                foreach($cols as $col) {
                    if(!$col) {
                        continue;
                    }
                    $data['cols'][] = $col;
                }
            }
            if(empty($data['cols'])) {
                return array();
            }
            $first++;
            continue;
        }
        else {
            $data['first'] = fgetcsv($fd, 4096);
            break;
        }
    }
    fclose($fd);

    // Return Data
    return $data;
}

Приведенный выше скрипт активируется только после того, как CodeIgniter переместит файл в рабочий каталог.Я уже знаю, как называется файл к этому моменту.Файл входит и возвращает список столбцов и первую строку.Все пустые столбцы игнорируются.

После этого процесс переходит к сценарию отображения.После того, как сопоставление выполнено и нажата «Импорт», загружается этот фрагмент кода.

function importLeads($file, $map) {
    // Open the Text File
    if(!file_exists($file)) {
        return false;
    }
    error_reporting(E_ALL);
    set_time_limit(240);
    ini_set("memory_limit", "512M");
    $fd = fopen($file, "r");

    // Return FALSE if file not found
    if(!$fd) {
        return FALSE;
    }

    // Traverse Each Line of the File
    $true = false;
    $first = 0;
    while(!feof($fd)) {
        if($first == 0) {
            $cols = fgetcsv($fd);
            $first++;
            continue;
        }

        // Get the columns of each line
        $row = fgetcsv($fd);

        // Traverse columns
        $group = array();
        $lead_status = array();
        $lead_type = array();
        $lead_source = array();
        $user = array();
        $user_cstm = array();
        $user_prof = array();
        $acct = array();
        $acct_cstm = array();
        $acct_prof = array();
        $acct_group = array();
        if(!$row) {
            continue;
        }
        foreach($row as $num => $val) {
            if(empty($map[$num])) {
                continue;
            }
            $val = str_replace('"', """, $val);
            $val = str_replace("'", "'", $val);
            switch($map[$num]) {
            // Company Account
            case "company_name":
                $acct['company_name'] = $val;
                break;
            case "lead_type":
                $lead_type['name'] = $val;
                break;
            case "lead_source":
                $lead_source['name'] = $val;
                break;
            case "lead_source_description":
                $lead_source['name'] = $val;
                break;
            case "campaign":
                $campaign['name'] = $val;
                break;
            case "mcn":
                $acct['mcn'] = $val;
                break;
            case "usdot":
                $acct['usdot'] = $val;
                break;
            case "sic_codes":
                $acct_cstm['sic_codes'] = $val;
                break;
            case "naics_codes":
                $acct_cstm['naics_codes'] = $val;
                break;
            case "agent_assigned":
                $acct_cstm['agent_assigned'] = $val;
                break;
            case "group_assigned":
                $group['name'] = $val;
                break;
            case "rating":
                $acct_cstm['rating'] = $val;
                break;
            case "main_phone":
                $acct['phone'] = $val;
                break;
            case "billing_phone":
                $acct_cstm['billing_phone'] = $val;
                break;
            case "company_fax":
                $acct['fax'] = $val;
                break;
            case "company_email":
                $acct['email2'] = $val;
                break;

            // Company Location
            case "primary_address":
                $acct['address'] = $val;
                break;
            case "primary_address2":
                $acct['address2'] = $val;
                break;
            case "primary_city":
                $acct['city'] = $val;
                break;
            case "primary_state":
                $acct['state'] = $val;
                break;
            case "primary_zip":
                $acct['zip'] = $val;
                break;
            case "primary_country":
                $acct['country'] = $val;
                break;
            case "billing_address":
                $billing['address'] = $val;
                break;
            case "billing_address2":
                $billing['address2'] = $val;
                break;
            case "billing_city":
                $billing['city'] = $val;
                break;
            case "billing_state":
                $billing['state'] = $val;
                break;
            case "billing_zip":
                $billing['zip'] = $val;
                break;
            case "billing_country":
                $billing['country'] = $val;
                break;
            case "company_website":
                $acct_cstm['website'] = $val;
                break;
            case "company_revenue":
                $acct_cstm['revenue'] = $val;
                break;
            case "company_about":
                $acct_prof['aboutus'] = $val;
                break;

            // Misc. Company Data
            case "bols_per_mo":
                $acct_cstm['approx_bols_per_mo'] = $val;
                break;
            case "no_employees":
                $acct_cstm['no_employees'] = $val;
                break;
            case "no_drivers":
                $acct_prof['drivers'] = $val;
                break;
            case "no_trucks":
                $acct_prof['power_units'] = $val;
                break;
            case "no_trailers":
                $acct_cstm['no_trailers'] = $acct_prof['trailers'] = $val;
                break;
            case "no_parcels_day":
                $acct_cstm['no_parcels_day'] = $val;
                break;
            case "no_shipping_locations":
                $acct_cstm['no_shipping_locations'] = $val;
                break;
            case "approves_inbound":
                $acct_cstm['approves_inbound'] = $val;
                break;
            case "what_erp_used":
                $acct_cstm['what_erp_used'] = $val;
                break;
            case "birddog":
                $acct_cstm['birddog_referral'] = $val;
                break;
            case "status_notes":
                $acct_cstm['status_notes'] = $val;
                break;
            case "notes":
                $acct_cstm['notes'] = $val;
                break;
            case "internal_notes":
                $acct_cstm['notes_internal'] = $val;
                break;

            // User Data
            case "salutation":
                $user_cstm['salutation'] = $val;
                break;
            case "first_name":
                $user['first_name'] = $billing['first_name'] = $val;
                break;
            case "last_name":
                $user['last_name'] = $billing['last_name'] = $val;
                break;
            case "user_title":
                $user_prof['title'] = $val;
                break;
            case "user_about":
                $user_prof['about'] = $val;
                break;
            case "user_email":
                $user['email'] = $val;
                break;
            case "home_phone":
                $user_prof['phone'] = $val;
                break;
            case "mobile_phone":
                $user_cstm['mobile_phone'] = $val;
                break;
            case "direct_phone":
                $user_cstm['direct_phone'] = $val;
                break;
            case "user_fax":
                $user_prof['fax'] = $val;
                break;
            case "user_locale":
                $user['location'] = $val;
                break;
            case "user_website":
                $user_prof['website_url'] = $val;
                break;
            case "user_facebook":
                $user_prof['fb_url'] = $val;
                break;
            case "user_twitter":
                $user_prof['twitter_url'] = $val;
                break;
            case "user_linkedin":
                $user_prof['linkedin_url'] = $val;
                break;
            }
        }
        if(empty($acct['company_name']) || empty($user['first_name']) || empty($user['last_name'])) {
            continue;
        }
        $this->db = $this->load->database('crm_db', TRUE);
        if(isset($lead_type['name']) && ($name = $lead_type['name'])) {
            $count = $this->db->count_all("lead_types");
            $check = $this->db->get_where("lead_types", array("name" => $name));
            if($check->num_rows() < 1) {
                $this->db->insert("lead_types", array("name" => $name, "order" => $count));
                $ltype = $this->db->insert_id();
                $acct_cstm['lead_type'] = $acct['account_type'] = $user['company_type'] = $ltype;
            }
        }
        if(isset($lead_source['name']) && ($name = $lead_source['name'])) {
            $count = $this->db->count_all("lead_sources");
            $check = $this->db->get_where("lead_sources", array("name" => $name));
            if($check->num_rows() < 1) {
                $this->db->insert("lead_sources", array("name" => $name, "order" => $count));
                $acct_cstm['lead_source'] = $this->db->insert_id();
            }
        }
        if(isset($campaign['name']) && ($name = $campaign['name'])) {
            $check = $this->db->get_where("campaigns", array("name" => $name));
            if($check->num_rows() < 1) {
                $campaign['id'] = $accounts_cstm['campaign'] = $this->Secure_m->generate_sugar_id();
                $campaign['date_entered'] = time();
                $campaign['date_modified'] = time();
                $campaign['modified_user_id'] = $this->session->userdata('id');
                $campaign['created_by'] = $this->session->userdata('id');
                $this->db->insert("campaigns", $campaign);
            }
        }
        if(isset($group['name']) && ($name = $group['name'])) {
            $order = $this->db->count_all("groups");
            $check = $this->db->get_where("groups", array("name" => $name));
            if($check->num_rows() < 1) {
                $this->db->insert("groups", array("name" => $name, "order" => $order));
                $acct_group['id'] = $this->db->insert_id();
            }
        }
        $mem = new stdclass;
        $uid = 0;
        if(is_array($user) && count($user)) {
            $where = "";
            if(!empty($user['phone'])) {
                $where .= "prof.phone = '{$user['phone']}' OR ";
                $where .= "cstm.mobile_phone = '{$user['phone']}' OR ";
                $where .= "cstm.direct_phone = '{$user['phone']}'";
            }
            if(!empty($user['mobile_phone'])) {
                if($where) {
                    $where .= " OR ";
                }
                $where .= "prof.phone = '{$user['mobile_phone']}' OR ";
                $where .= "cstm.mobile_phone = '{$user['mobile_phone']}' OR ";
                $where .= "cstm.direct_phone = '{$user['mobile_phone']}'";
            }
            if(!empty($user['direct_phone'])) {
                if($where) {
                    $where .= " OR ";
                }
                $where .= "prof.phone = '{$user['direct_phone']}' OR ";
                $where .= "cstm.mobile_phone = '{$user['direct_phone']}' OR ";
                $where .= "cstm.direct_phone = '{$user['direct_phone']}'";
            }
            $query = $this->db->query($this->Account_m->userQuery($where));
            $mem = reset($query->result());
            if($where && !empty($mem->id)) {
                $uid = $mem->id;
                $new = array();
                foreach($user as $k => $v) {
                    if(!empty($mem->$k)) {
                        $new[$k] = $mem->$k;
                        unset($user[$k]);
                    }
                    else {
                        $new[$k] = $v;
                    }
                }
                //$this->db->update("leads", $user, array("id" => $uid));
                $user = $new;
            }
            else {
                $user['uxtime'] = time();
                $user['isclient'] = 0;
                $user['flag'] = 0;
                $user['activation_code'] = $this->Secure_m->generate_activate_id();
                $uid = $this->Secure_m->generate_activate_id(10);
                $query = $this->db->get_where("leads", array("id" => $uid), 1);
                $data = reset($query->result());
                while(!empty($data->id)) {
                    $uid = $this->Secure_m->generate_activate_id(10);
                    $query = $this->db->get_where("leads", array("id" => $uid), 1);
                    $data = reset($query->result());
                }
                $user['id'] = $uid;
                $this->db->insert("leads", $user);
            }
        }
        if($uid && is_array($user_prof) && count($user_prof)) {
            if(!empty($mem->uid)) {
                $new = array();
                foreach($user_prof as $k => $v) {
                    if(!empty($mem->$k)) {
                        $new[$k] = $mem->$k;
                        unset($user_prof[$k]);
                    }
                    else {
                        $new[$k] = $v;
                    }
                }
                //$this->db->update("mprofiles", $user_prof, array("uid" => $uid));
                $user_prof = $new;
            }
            else {
                $user_prof['uid'] = $uid;
                $user_prof['flag'] = 0;
                $this->db->insert("ldetails", $user_prof);
            }
        }
        if($uid && is_array($user_cstm) && count($user_cstm)) {
            $query = $this->db->get_where("leads_cstm", array("crm_id" => $cid), 1);
            $data = reset($query->result());
            if(!empty($data->crm_id)) {
                $new = array();
                foreach($user_cstm as $k => $v) {
                    if(!empty($mem->$k)) {
                        $new[$k] = $mem->$k;
                        unset($user_cstm[$k]);
                    }
                    else {
                        $new[$k] = $v;
                    }
                }
                //$this->db->update("leads_cstm", $acct_prof, array("fa_user_id" => $cid));
                $user_cstm = $new;
            }
            else {
                $user_cstm['crm_id'] = $uid;
                $user_cstm['date_entered'] = time();
                $user_cstm['date_modified'] = time();
                $user_cstm['created_by'] = $this->session->userdata('id');
                $user_cstm['modified_user_id'] = $this->session->userdata('id');
                $this->db->insert("leads_cstm", $user_cstm);
            }
        }
        $cmp = new stdclass;
        $cid = 0;
        if(is_array($acct) && count($acct)) {
            $acct['uid'] = $uid;
            $acct['main_contact'] = "{$user['first_name']} {$user['last_name']}";
            if(!empty($user['email'])) {
                $acct['email'] = $user['email'];
            }
            $acct['isprospect'] = 0;
            $acct['flag'] = 0;
            if(!empty($acct['mcn'])) {
                $where .= "fms.mcn = '{$acct['mcn']}'";
            }
            if(!empty($acct['phone'])) {
                if($where) {
                    $where .= " OR ";
                }
                $where .= "fms.phone = '{$acct['phone']}' OR ";
                $where .= "crm.billing_phone = '{$acct['phone']}'";
            }
            if(!empty($acct['billing_phone'])) {
                if($where) {
                    $where .= " OR ";
                }
                $where .= "fms.phone = '{$acct['billing_phone']}' OR ";
                $where .= "crm.billing_phone = '{$acct['billing_phone']}'";
            }
            if(!empty($acct['company_name'])) {
                if($where) {
                    $where .= " OR ";
                }
                $where .= "fms.company_name = '{$acct['company_name']}'";
            }
            $query = $this->db->query($this->Account_m->acctQuery($where));
            $cmp = reset($query->result());
            if($where && !empty($cmp->id)) {
                $cid = $cmp->id;
                $new = array();
                foreach($acct as $k => $v) {
                    if(!empty($cmp->$k)) {
                        $new[$k] = $cmp->$k;
                        unset($acct[$k]);
                    }
                    else {
                        $new[$k] = $v;
                    }
                }
                //$this->db->update("accounts", $billing, array("cid" => $cid));
                $acct = $new;
            }
            else {
                $cid = $this->Secure_m->generate_activate_id(10);
                $query = $this->db->get_where("leads", array("id" => $uid), 1);
                $data = reset($query->result());
                while(!empty($data->id)) {
                    $cid = $this->Secure_m->generate_activate_id(10);
                    $query = $this->db->get_where("accounts", array("id" => $cid), 1);
                    $data = reset($query->result());
                }
                $acct['id'] = $cid;
                $this->db->insert("accounts", $acct);
            }
        }
        if($cid && is_array($acct_group) && count($acct_group)) {
            $grp = $this->db->get_where("accounts_groups", array("cid" => $cid, "gid" => $acct_group['id']));
            if(empty($cmp->id)) {
                $acct_group['cid'] = $cid;
                $this->db->insert("accounts_groups", $acct_group);
            }
        }
        if($cid && is_array($acct_prof) && count($acct_prof)) {
            if(!empty($cmp->id)) {
                $new = array();
                foreach($acct_prof as $k => $v) {
                    if(!empty($cmp->$k)) {
                        $new[$k] = $cmp->$k;
                        unset($acct_prof[$k]);
                    }
                    else {
                        $new[$k] = $v;
                    }
                }
                //$this->db->update("cprofiles", $acct_prof, array("cid" => $cid));
                $acct_prof = $new;
            }
            else {
                $acct_prof['cid'] = $cid;
                $acct_prof['flag'] = 0;
                $this->db->insert("adetails", $acct_prof);
            }
        }
        if($cid && is_array($billing) && count($billing)) {
            $bill = $this->db->get_where("accounts_billing", array("cid" => $cid));
            if(!empty($bill->id)) {
                $new = array();
                foreach($acct_prof as $k => $v) {
                    if(!empty($cmp->$k)) {
                        $new[$k] = $cmp->$k;
                        unset($acct_prof[$k]);
                    }
                    else {
                        $new[$k] = $v;
                    }
                }
                //$this->db->update("accounts_billing", $billing, array("cid" => $cid));
            }
            else {
                $billing['cid'] = $cid;
                $billing['flag'] = 0;
                $this->db->insert("accounts_billing", $billing);
            }
        }
        if($cid && $uid) {
            $this->db->update("leads", array("cid" => $cid), array("id" => $uid));
        }
        if($cid && is_array($acct_cstm) && count($acct_cstm)) {
            $query = $this->db->get_where("accounts_cstm", array("crm_id" => $cid), 1);
            $data = reset($query->result());
            if(!empty($data->crm_id)) {
                $new = array();
                foreach($acct_cstm as $k => $v) {
                    if(!empty($cmp->$k)) {
                        $new[$k] = $cmp->$k;
                        unset($acct_cstm[$k]);
                    }
                    else {
                        $new[$k] = $v;
                    }
                }
                //$this->db->update("accounts_cstm", $acct_cstm, array("crm_id" => $cid));
                $acct_cstm = $new;
            }
            else {
                $acct_cstm['crm_id'] = $cid;
                $acct_cstm['date_entered'] = time();
                $acct_cstm['date_modified'] = time();
                $acct_cstm['created_by'] = $this->session->userdata('id');
                $acct_cstm['modified_user_id'] = $this->session->userdata('id');
                if(empty($acct_cstm['rating'])) {
                    $acct_cstm['rating'] = 1;
                }
                $this->db->insert("accounts_cstm", $acct_cstm);
            }
        }
        $true = TRUE;
    }
    fclose($fd);

    return $true;
}

Теперь, насколько я вижу, скрипт работает отлично.Нет ничего плохого в самом коде.Проблема в том, что после 400-500 строк скрипт просто останавливается.Я не получаю сообщение об ошибке, но дальнейший код не обрабатывается.

Я знаю это, потому что после этого у меня есть код, который должен возвращать страницу перенаправления через AJAX.Ничего после того, как мой цикл в функции importLeads не загружается, хотя.

Я не уверен, как сделать этот скрипт более эффективным ... Я уверен, что время истекло, но я не знаю, какчтобы он работал более эффективно.Мне нужен этот скрипт, чтобы обрабатывать всю информацию выше отдельно.У меня есть несколько отдельных таблиц, которые все связаны друг с другом, и этот скрипт импорта должен настроить все по-разному.

Я говорил с моим клиентом об этом проекте.Этот скрипт работает, когда я опускаю его примерно до 400 строк.У него есть несколько таких CSV-файлов, которые имеют размер около 75 000 строк.Импортируемый мной файл поменьше, всего около 1200 строк.

Я пробовал искать альтернативные методы, такие как скрипт импорта MySQL, но я не могу этого сделать, потому что этот скрипт должен импортировать данные вотдельные таблицы, и он должен сначала проверить существующие данные.Я также должен обновить все пустые поля с импортированной информацией, но это сделает это еще хуже.

Если кто-нибудь знает о более эффективном методе, он будет очень признателен.Я старался быть максимально подробным.Следует отметить, что я использую CodeIgniter, но если есть более эффективный способ, который не использует CodeIgniter, я возьму его (хотя я все еще могу поместить его в модель CI).

Answer 1

Я написал PHP-сценарии для массовой загрузки данных, опубликованных дампом данных Stack Overflow. Я импортирую миллионы строк, и это не занимает много времени.

Вот несколько советов:

• Не полагайтесь на автокоммит. Затраты на запуск и совершение транзакции для каждой строки огромны. Используйте явные транзакции и фиксируйте их после каждых 1000 строк (или более).

• Используйте подготовленные операторы. Поскольку вы в основном выполняете одинаковые вставки тысячи раз, вы можете подготовить каждую вставку перед началом цикла, а затем выполнить во время цикла, передавая значения в качестве параметров. Я не знаю, как это сделать с библиотекой базы данных CodeIgniter, вам придется это выяснить.

• Настройка MySQL для импорта. Увеличение буферных кешей и так далее. См. Скорость операторов INSERT для получения дополнительной информации.

• Используйте INFILE LOAD DATA. Если возможно. Это буквально в 20 раз быстрее, чем использование INSERT для загрузки данных строка за строкой. Я понимаю, если вы не можете, потому что вам нужно получить последний идентификатор вставки и так далее. Но в большинстве случаев, даже если вы читаете файл CSV, переставляете его и записываете его в несколько временных файлов CSV, загрузка данных все равно происходит быстрее, чем при использовании INSERT.

• Делайте это в автономном режиме. Не запускайте долго выполняющиеся задачи во время веб-запроса. Срок выполнения запроса PHP прекратит работу, если не сегодня, то в следующий вторник, когда работа будет на 10% длиннее. Вместо этого создайте очередь веб-запросов и затем верните управление пользователю. Вы должны запустить импорт данных как серверный процесс и периодически разрешать пользователю видеть скорость прогресса. Например, дешевый способ сделать это, чтобы ваш скрипт импорта вывел «.» во временный файл, а затем пользователь может запросить просмотр временного файла и продолжить загрузку в своем браузере. Если вы хотите стать модным, сделайте что-нибудь с Ajax.

Answer 2

Чтобы эффективно импортировать данные в MySQL, вам необходимо использовать LOAD DATA INFILE .Это очень сильно повлияет на производительность.

Если вам нужно предварительно обработать данные, сделайте это с помощью приведенного выше сценария, затем экспортируйте обратно в CSV / TSV и используйте запросы LOAD DATA для окончательного импорта в базу данных..

Ваш скрипт не выходит за пределы 500 строк, поскольку он, скорее всего, достигает ограничения по времени выполнения PHP.Вы можете использовать функцию set_time_limit () , чтобы вообще не ограничивать время в вашем скрипте, и в этом случае вы должны вызвать set_time_limit(0) в начале вашего скрипта.

Answer 3

Еще один предмет, который я должен поднять, - этот код НУЖЕН, чтобы произошло следующее:

в настоящее время, где вы делаете это:

foreach($row as $num => $val) {
        if(empty($map[$num])) {
            continue;
        }
        $val = str_replace('"', """, $val);
        $val = str_replace("'", "'", $val);
        switch($map[$num]) {
        // Company Account
        case "company_name":
            $acct['company_name'] = $val;
            break;

Вам нужно изменить переключатель / чехол, чтобы сделать это вместо:

1) создайте карту данных ваших сопоставленных полей. Карта данных должна иметь правильный массив, в который отображается поле, а также индекс этого массива. Например:

$dataMap['company_name'] = array($acct, 'company_name');
$dataMap['lead_type']    = array($lead_type, 'name');
.
.
.
$dataMap['bols_per_mo']  = array($acct_cstm, 'approx_bols_per_mo');
.
.
.

и т. Д.

Тогда 2) Замените ваш массивный оператор switch следующим простым фрагментом кода:

foreach($row as $num => $val) {
        if(empty($map[$num])) {
            continue;
        }
        $val = str_replace('"', """, $val);
        $val = str_replace("'", "'", $val);
        $mappingRecord = $dataMap[ $map[$num] ];

        //The first element is the array the data should go in 
        $destinationArray = $mappingRecord[0];

        //the second element is the index of the array it should go in
        $destinationArray[$mappingRecord[1]] = $val;

Answer 4

Достигаете ли вы ограничения времени загрузки PHP-скрипта при загрузке больших файлов?

Попробуйте:

set_time_limit(0);

, чтобы отключить ограничение по умолчанию в 30 секунд.Существует ограничение для всего сервера, которое вы можете получить с помощью max_execution_time().Если ограничение для всего сервера недостаточно для этой задачи массовой загрузки, вам необходимо выяснить, как заставить вашего локального сервера-посредника изменить его или выполнить загрузку другим способом.

Answer 5

загрузка необработанных данных CSV-файла в промежуточные (временные) таблицы с использованием метода загрузки данных, который удобен и быстр:

set autocommit = 0;

load data infile..
load data infile..
...

commit;

после загрузки данных запустите хранимые процедуры очистки, сопоставления и проверки данныхetc:

call cleanse_staging_data();
call map_staging_data();
call validate_staging_data();

после обработки данных скопируйте данные из промежуточных таблиц в правильные таблицы данных:

call copy_staging_to_production();

или что-то в этом роде.

Answer 6

Мне приходилось делать что-то похожее иногда. Есть несколько проблем, с которыми вы можете столкнуться:

1. Тайм-аут сценария PHP - По истечении заданного периода времени PHP автоматически завершит процесс. Вы можете отключить это в файле php.ini или с помощью set_time_limit(0). Однако некоторые хосты отключают этот метод, а некоторые хосты имеют отдельную настройку наблюдения за процессами, чтобы убивать процессы, которые выполнялись в течение заданного периода времени, чтобы не дать серверу выйти из строя.
2. Ограничение памяти - PHP позволит вам установить максимальный предел памяти в том же php.ini. Если он поразит его, он вызовет фатальную ошибку и умрет. Вы можете увидеть это в журнале ошибок, но ничего не будет выведено в браузер.
3. Затраты MySQL Query - Как уже отмечали другие, есть много накладных расходов для каждого отдельного запроса. У меня не было достаточно строк, чтобы оправдать бросок load data infile в шторм. Мне также не нужно было получать результаты для каждого отдельного запроса, поэтому я просто поместил их все в один вызов и запустил его в один mysql_query (который вы можете сделать из своего контроллера в CodeIgniter следующим образом: mysql_query($sql, $this->db->conn_id);, так как если вы передадите это в DB :: query), то оно подойдет.

Билл Карвин указал на множество хороших способов оптимизации, когда вы имеете дело с очень большими наборами данных, но если у вас возникли проблемы с ~ 400 строками, я не думаю, что это пока принесет вам большую пользу , Проверьте журналы ошибок, исправьте проблему и затем работайте над ее оптимизацией.