Мне нужно часто проверять коды ответов http на десятках тысяч URL-адресов. Что было бы наиболее эффективным способом сделать это в PHP или Python?
В PHP я начинаю с последовательных запросов:
function get_http_response_code($domain1) {
$headers = get_headers($domain1);
return substr($headers[0], 9, 3);
}
IF ($check){
foreach ($check as $id => $url) {
$get_http_response_code[$id] = get_http_response_code($url);
echo $url." -> ".$get_http_response_code[$id]."\n";
}
}
Это занимает около 0,5 - 1 с на запрос:
200 request time in ms: 920.52ms
200 request time in ms: 1123.08ms
200 request time in ms: 1327.84ms
200 request time in ms: 610.86ms
200 request time in ms: 1122.79ms
200 request time in ms: 1226.19ms
200 request time in ms: 1120.73ms
200 request time in ms: 917.12ms
200 request time in ms: 851.57ms
Я пытаюсь улучшить или выполнить несколько запросов параллельно. Как лучше всего выполнить эту задачу?