Активные записи воспламенителя кода - помогают оптимизировать процесс

Question

В настоящее время я использую приведенный ниже код, чтобы получить список uuid, затем разделить их на группы по 1000, а затем вставить эти группы в базу данных.

Это прекрасно работает, за исключением того, что время от времени должно работать более миллиона uuid Проблема в том, что это использует огромный объем памяти, поэтому мне нужна помощь, чтобы упростить этот процесс, чтобы использовать меньше памяти ...

public function send_daily_email($dealId) {
  set_time_limit(0);
  $deal = $this->ci->deal->get($dealId);
  if ($deal == false)
    throw new exception('Unknown Deal Specified');

  $users = $this->db->select('uuid')->from('userRegionLink')->where('regionId', $deal->region)->get();

  if ($users->num_rows() == 0)
    throw new exception('No users in region');

  $message = $this->ci->load->view('emails/daily', array('name' => $deal->title, 'content' => $deal->snippet), true);
  $uuids = array();

  foreach ($users->result() as $u)
    $uuids[] = $u->uuid;

  $uuids = array_chunk($uuids, 1000);

  $sendId = 0;
  foreach ($uuids as $batch) {
    $count = count($batch);
    $this->db->set('dealId', $dealId)->set('content', $message)->set('regionId', $deal->region)->set('recipients', $count)->set('created', 'NOW()', false)->set('status', 'Creating');
    if ($sendId === 0) {
      $this->db->insert('dealEmailParent');
      $sendId = $this->db->insert_id();
      $this->db->set('sendId', $sendId)->where('id', $sendId)->update('dealEmailParent');
    }
    else
      $this->db->set('sendId', $sendId)->insert('dealEmailParent');

    $insert = array();

    foreach ($batch as $uuid)
      $insert[] = array('parentId' => $sendId, 'uuid' => $uuid);

    $this->db->insert_batch('dealEmailChild', $insert);
  }
}

Answer 1

Эта переделка может вставить 1 000 000 «пользователей» в течение минуты без ограничений памяти:)

public function create_daily_email($dealId)
    {
        $time_start = microtime(true);
        set_time_limit(0);
        $deal = $this->ci->deal->get($dealId);
        if ($deal == false)
            throw new exception('Unknown Deal Specified');


        $message = $this->ci->load->view('emails/daily', array('name' => $deal->title, 'content' => $deal->snippet), true);

        $start = 0;
        $end = 50000;

        $q = $this->db->select('uuid')->from('userRegionLink')->where('regionId', $deal->region)->limit($end, $start)->get();
        $sendId = 0;

        while ($q->num_rows() != 0) {

            //do stuff

            $uuids = array();

            foreach ($q->result() as $u)
                $uuids[] = $u->uuid;

            $uuids = array_chunk($uuids, 1000);

            foreach ($uuids as $batch) {
                $count = count($batch);
                $this->db->set('dealId', $dealId)->set('content', $message)->set('regionId', $deal->region)->set('recipients', $count)->set('created', 'NOW()', false)->set('status', 'Creating');
                if ($sendId === 0) {
                    $this->db->insert('dealEmailParent');
                    $sendId = $this->db->insert_id();
                    $this->db->set('sendId', $sendId)->where('id', $sendId)->update('dealEmailParent');
                    $parentId = $sendId;
                }
                else {
                    $this->db->set('sendId', $sendId)->insert('dealEmailParent');
                    $parentId = $this->db->insert_id();
                }

                $insert = array();

                foreach ($batch as $uuid) {
                    $insert[] = array(
                        'parentId' => $parentId,
                        'uuid' => $uuid
                    );
                }

                $this->db->insert_batch('dealEmailChild', $insert);
            }

            //stop stuff

            unset($q);
            unset($uuids);
            unset($insert);
            $start = $start + $end;
            $q = $this->db->select('uuid')->from('userRegionLink')->where('regionId', $deal->region)->limit($end, $start)->get();
        }

        $this->db->set('status', 'Pending')->where('sendId', $sendId)->update('dealEmailParent');

        $time_end = microtime(true);
        $time = $time_end - $time_start;

        die("Did nothing in $time seconds");
    }

Answer 2

Мне неприятно это говорить, но из того, что я знаю о CodeIgniter, единственный способ, которым он знает, чтобы получить результаты, - это получить весь набор результатов сразу, даже если вам нужна только одна строка, или даже если вы хотите получить строку за раз и выполнить некоторую обработку. Он не работает с курсорами, как встроенная функциональность mysql (i) / PDO.

Для этого большого набора данных я бы предложил придерживаться собственных функций базы данных PHP и вышеупомянутых классов базы данных активных записей CodeIgniter.