Как проверить код ответа https оптом с максимальной производительностью? - PullRequest
0 голосов
/ 31 марта 2019

Мне нужно часто проверять коды ответов http на десятках тысяч URL-адресов. Что было бы наиболее эффективным способом сделать это в PHP или Python?

В PHP я начинаю с последовательных запросов:

function get_http_response_code($domain1) {
  $headers = get_headers($domain1);
  return substr($headers[0], 9, 3);
}

IF ($check){
    foreach ($check as $id => $url) {
        $get_http_response_code[$id] = get_http_response_code($url);
        echo $url." -> ".$get_http_response_code[$id]."\n";
    }
}

Это занимает около 0,5 - 1 с на запрос:

200 request time in ms: 920.52ms 
200 request time in ms: 1123.08ms 
200 request time in ms: 1327.84ms 
200 request time in ms: 610.86ms 
200 request time in ms: 1122.79ms 
200 request time in ms: 1226.19ms 
200 request time in ms: 1120.73ms 
200 request time in ms: 917.12ms 
200 request time in ms: 851.57ms 

Я пытаюсь улучшить или выполнить несколько запросов параллельно. Как лучше всего выполнить эту задачу?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...