Вопрос:
Может ли кто-нибудь сообщить мне, с какой периодичностью звонок на чей-либо сайт через cURL не считается вредным?
Объяснение:
Я создаю небольшое веб-приложение, где я получаю сообщения WordPress и некоторую информацию о них с веб-сайта клиента.
(!) Не как веб-скребок, так как они должны установить мини-плагин, который предоставляет только соответствующую информацию, используя мой authkey.
Поскольку количество страниц можетварьируется от 10 до 1000+.Я не делаю это за один звонок;Итак, я создал страницу с Ajax-скриптом, который тянет до 50 страниц за вызов.Этот URL Ajax вызывает мой fetch.php, каждый раз проверяет URL (включая заголовок) и затем получает информацию через cURL.Повторяется до конца.
Сценарий:
Давайте представим, что веб-сайт клиента имеет 1000 страниц.Поэтому мне нужно было бы сделать вызов 20 раз (без задержек, это может произойти в течение 30 секунд).
Кроме того, возможно, потребуется учесть это, поскольку я должен проверять URL-адрес домена перед каждым вызовом, который также имеет cURLтолько с заголовками get (как более быстрая альтернатива get_headers ()).
Я полагаю, что это фактически удваивает количество звонков до 40 раз.
Итак, этически я должен сделать задержку?или такой объем звонков не считается вредным для сайта клиента?
Спасибо