Оптимизированные вставки базы данных с помощью RSS-каналов с использованием SimplePie - нужны идеи - PullRequest
Новая
       15

Оптимизированные вставки базы данных с помощью RSS-каналов с использованием SimplePie - нужны идеи

0 голосов
/ 29 ноября 2011

Итак, в основном я только что проверил свой контроллер update_feeds и обнаружил, что количество запущенных SQL-запросов шокирует.Я ищу способ оптимизировать процесс обработки нескольких каналов и затем вставить данные в таблицу (заголовок и URL)

В настоящее время в БД имеется 193 канала, для которых я получаю URL-адреса, а затемобработайте их по одной проверке и вставьте данные о них в другую таблицу.Проблема в том, что simplepie проходит и вставляет каждый элемент.

Итак, я заканчиваю запросами: 3297 Общее время выполнения 202.8051

Я ищу способ оптимизировать этот процесс, есть у кого-нибудь какие-нибудь советы?Я выложу некоторый код.Спасибо.

Контроллер для загрузки каналов 

          $this->output->set_profiler_sections($sections);
        $this->load->library('simplepie');
        //$this->simplepie->cache_location = BASEPATH .'cache';
        $this->load->model('FeedModel');
        $this->load->model('FeedItemModel');
        $feeds = $this->FeedModel->get_feed_update_urls();
        foreach ($feeds as $feed_id => $feed_url) {
            $this->simplepie->set_feed_url($feed_url);
            //$this->simplepie->set_cache_duration(0);
$this->simplepie->set_timeout(0);
            $this->simplepie->init();
            $items = $this->simplepie->get_items();
            foreach ($items as $item) {
                $this->FeedItemModel->load($feed_id, md5($item->get_id()));
                $this->FeedItemModel->link = $item->get_permalink();
                $this->FeedItemModel->title = $item->get_title();
                $this->FeedItemModel->created_time = $item->get_date('Y-m-d H:i:s');
                $this->FeedItemModel->save();
            }
        }

Модель для ввода каналов 

function save() {
        if ($this->_id !== false) {
            $this->db->query('UPDATE feed_items SET link=?, title=?, created_time=? WHERE id=?', array($this->link, $this->title, $this->created_time, $this->_id));
        } else {
            $this->db->query('INSERT INTO feed_items(feed_id, remote_id, link, title, created_time, updated_time) VALUES (?, ?, ?, ?, ?, NOW()) ON DUPLICATE KEY UPDATE remote_id=remote_id', array($this->feed_id, $this->remote_id, $this->link, $this->title, $this->created_time, $this->remote_id));
            $this->_id = $this->db->insert_id();
        }
    }

1 Ответ

0 голосов
/ 29 ноября 2011

Вместо того, чтобы загружать каждый раз и затем сохранять, вы должны вместо этого сделать обновление (и затем вставить, когда обновление не находит строки).Это сократится на один запрос на элемент фида.

...