Очистка результатов поиска Google выдает ошибку «Служба недоступна» - PullRequest
Новая
       29

Очистка результатов поиска Google выдает ошибку «Служба недоступна»

1 голос
/ 25 марта 2019

Я пытаюсь очистить результаты поиска Google, используя Cheerio в Node.js. Я получаю сообщение об ошибке «503 - Служба недоступна». Несколько запросов дают мне правильные ответы, но затем появляется эта ошибка. Я прочитал похожие вопросы по stackoverflow, но не смог найти ответ.

Я пытался добавить пользовательский агент и даже установить прокси в заголовках, но безуспешно.

Как мне обойти это, если вообще это можно сделать?

Ценю любую помощь!

Код: 

const request = require("request");

var getPage = url => {
  return new Promise((resolve, reject) => {
    request({
      url: url,
      headers: {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/18.17763",
        //host : "37.59.248.190",
        //port : 8080
      }
    }, (error, response, html) => {
      console.log(response.statusCode, response.statusMessage);
      if (!error && response.statusCode == 200) {
        resolve(response);
      } else {
        reject(response);
      }
    });
  });
}

module.exports = getPage;

1 Ответ

1 голос
/ 25 марта 2019

Я попробовал ваш код, и он работал нормально, когда я запускал его 20 раз подряд с одним и тем же URL-адресом.

В зависимости от условия поиска и частоты запросов, вы можете отказаться от обслуживания ваших запросов, если Google подозревает нерегулярную активность клиента.Некоторые источники также утверждают, что у Google есть механизмы для обнаружения соскобов.Google может даже заблокировать ваш IP, если вы превысили определенное количество запросов.Для получения дополнительной информации см. Следующие ссылки:

...