Yahoo Web Scrapes: каковы пределы? - PullRequest
0 голосов
/ 21 апреля 2010

Мы используем веб-скребок и настроили его на функцию сна, в которой настроена случайная функция (так что между каждым циклом не совпадает время), но мы все еще получаем блокировку от Yahoo после 20 -30 запросов.

Кто-нибудь знает, существует ли ограничение (то есть: 20 запросов в минуту, 200 в час) В настоящее время наше среднее значение между каждым запросом составляет около 3-6 секунд. Спасибо за любую помощь

Ответы [ 2 ]

0 голосов
/ 22 апреля 2010

Таким образом, ответ 5000 запросов. Взято из

http://forums.digitalpoint.com/showthread.php?t=736784

http: // разработчик. Yahoo. ком / поиск / rate.html

0 голосов
/ 21 апреля 2010

1 запрос каждые 3-6 секунд довольно низкий, так что, возможно, есть другая проблема с вашим сканером.

Несколько идей:

  • установить User-Agent на что-то не подозрительное
  • установить заголовок Referer на тот же домен
  • попробуйте запустить сканер с другого IP, если ваш текущий IP занесен в черный список
  • попробуйте сохранить куки

Все будет проще, если вы используете библиотеку более высокого уровня, такую ​​как Механизация .

...