Есть ли лучший способ получить информацию с другого сайта, чем curl?

Question

Один сайт хранит информацию в идентификаторах, например http://website.com/index.php?id=1.В нем около 500 000 записей.

Мне нужно получить их и поместить в базу данных (MySQL).Теперь я использую curl, и он получает эту информацию, но это очень медленно.Я получил только ~ 4000 записей за один час.

Мой вопрос, есть ли способ сделать это быстрее?

Answer 1

Если вы не против использования perl, CPAN-модуль Web :: Scraper является обычным способом эффективной очистки страниц. См http://metacpan.org/pod/Web::Scraper.

Answer 2

Вы всегда можете использовать wget в сочетании с функцией exec в php. Это, конечно, предполагает, что вы настроили свой сервер, чтобы позволить php выполнять команды оболочки. Однако wget значительно быстрее, чем curl.

Answer 3

использование JSONP
Еще один JSON With Padding