Более быстрый способ загрузки страниц с помощью curl?

Question

Привет,

Я загружаю большое количество файлов для интеллектуального анализа данных. Раньше я использовал PHP для этой цели, но я считаю, что это слишком медленно. Также я просто хочу небольшую часть веб-страницы. Я хочу достичь двух вещей

1. Curl должен быть в состоянии использовать всю мою пропускную способность загрузки
2. Можно ли загрузить только часть веб-страницы, на которой хранятся мои данные.

Я не ограничен PHP. Если curl работает лучше в терминале, я бы использовал это.

Answer 1

Да, вы можете загрузить только часть страницы с помощью опции CURLOPT_RANGE, а также можете предоставить функцию обратного вызова записи, которая просто возвращает ошибку, когда вы получили «достаточно» данных и хотите остановить и переместить на.

Answer 2

Нет возможности скачать только часть страницы. Когда вы запрашиваете URL-адрес, ответ сервера такой, какой он есть.

Используйте большую часть своей пропускной способности, используя возможность cURL для одновременных подключений .

Answer 3

Вы загружаете HTML?Ваш комментарий заставляет меня верить, что вы есть.Если это так, просто загрузите html с Simple PHP DOM и получите только ту часть, которая вам нужна.Хотя мне трудно поверить, что захват только HTML замедляет вас.Вы также скачиваете какие-либо файлы или мультимедиа?

Ссылка: http://simplehtmldom.sourceforge.net/