Проверка ссылок для Hotfile, Rapidshare - PullRequest
1 голос
/ 26 августа 2011

У меня есть более 20 тысяч ссылок для проверки. это ссылки на Rapidshare и FileServe. сейчас я использую file_get_content и проверяю, содержит ли ссылка на fileserve ссылку «Этот файл был нарушен авторским правом или удален пользователем». пометить его как «удаленный» и «файл не найден». для ссылки на Rapidshare.

if (strpos($var2, "This file was either in breach of a copyright holder or deleted by the uploader.")) {...
if (strpos($var, "File not found.")) {...

Дело в том, что file_get_content действительно очень медленный, даже когда я добавил это:

$context = stream_context_create(array('http' => array('header'=>'Connection: close')));
$var = file_get_contents($url,false,$context);

есть ли другой альтернативный способ сделать это быстрее? Сценарий выполняется более часа, и у меня проверено 5 тысяч ссылок ...

Ответы [ 2 ]

0 голосов
/ 08 февраля 2012

Обе эти службы предоставляют API для публики, читайте их документы.

0 голосов
/ 26 августа 2011

Вы пробуете многопоточность и другой язык, например C, чтобы выполнить эту проверку?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...