Вот краткий обзор того, что я делаю, это действительно очень просто:
- Выйти и извлечь записи из таблицы базы данных.
- Просмотрите все эти записи, и для каждого столбца, содержащего URL, выйдите (используя cURL) и убедитесь, что URL все еще действителен.
- Для каждой записи столбец обновляется с отметкой о текущем времени, указывающей, когда она была в последний раз проверена, и выполняется некоторая другая обработка дБ.
Во всяком случае, все это работает хорошо, и делает именно то, что и должно. Проблема в том, что я думаю, что производительность может быть значительно улучшена с точки зрения того, как я проверяю URL с помощью cURL.
Вот краткая (упрощенная) выдержка из моего кода, которая демонстрирует, как используется cURL:
$ch = curl_init();
while($dbo = pg_fetch_object($dbres))
{
// for each iteration set url to db record url
curl_setopt($ch, CURLOPT_URL, $dbo->url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_exec($ch); // perform a cURL session
$ihttp_code = intval(curl_getinfo($ch, CURLINFO_HTTP_CODE));
// do checks on $ihttp_code and update db
}
// do other stuff here
curl_close($ch);
Как вы можете видеть, я просто все время повторяю один и тот же дескриптор cURL, но даже если я теряю всю обработку (базу данных или иным образом), выполнение сценария все равно занимает невероятно много времени. Поможет ли изменение какого-либо из параметров cURL улучшить производительность? Настройка значений тайм-аута / и т. Д.? Любой вклад будет оценен.
Спасибо,