Python urllib2 гусеничный сбой маршрутизатора

Question

У меня есть нить urllib2, чтобы получить цитаты из Google Finance. К тому времени, когда очередь запросов завершается и выходные данные сохраняются примерно за секунду до отправки новых запросов, в данный момент я просто проверяю 10 акций, поэтому число потоков равно 10 в секунду. Хотя мой роутер может быть не лучшим, он падает при такой нагрузке.

Это из-за плохо написанного сканера? Есть ли способ уменьшить запросы / нагрузку на сеть без большего разрыва в планировании.

Разве программное обеспечение P2P не отправляет больше запросов, чем это успешно?

Answer 1

Я бы не советовал сканировать что-либо из Google, кроме API, иначе вы можете ожидать запрета, фильтра или судебного иска (хотя и маловероятно), особенно если вы делаете что-то коммерческое и / или публично выпущенное.

Этохотя кажется интересным: http://yken.org/2009/01/05/how-to-get-a-real-time-stock-quote-using-google-api/

А по поводу проблемы с роутером, вы уверены, что ваш роутер дает сбой и вас не блокирует Google?