Ограничивает ли скорость ScraperWiki сайты, которые он просматривает? - PullRequest
2 голосов
/ 01 мая 2011

ScraperWiki каким-то образом автоматически ограничивает соскоб ограничения или я должен добавить что-то вроде sleep (1 * random.random ()) в цикл?

1 Ответ

2 голосов
/ 01 мая 2011

Автоматическое ограничение скорости отсутствует. Вы можете добавить команду режима сна, написанную на вашем языке, чтобы добавить ограничение скорости.

Очень немногие серверы проверяют ограничение скорости, а обычно серверы, содержащие общедоступные данные, не делают.

Однако рекомендуется избегать переполнения удаленного сервера. По умолчанию скребки работают только в одном потоке, поэтому существует ограничение на нагрузку, которую вы можете создать.

...