Я не знаю почему, но по какой-то причине request.get очень медленный после нескольких запросов на мои запросы.
У меня request.get для URL, чтобы получить json информацию из этого сайт. Он возвращает мне только json, просто.
Но по какой-то причине он запрашивает примерно 5-20 раз, а затем останавливается примерно на 3-4 секунды, а затем запрашивает следующее. Но почему это останавливается столько раз? Это очень медленно, чем ...
Мой анализ в scrapy выглядит так
def parse(self, response):
items = AmazonMobileDetailsItem()
...
r = requests.get('https://www.URL.com/?get=json')
result = r.json()
new_list=[]
for item in result['data']:
...
yield item
Ничего особенного здесь, но по какой-то причине request.get очень медленный ... я не знаю почему всего около 10 запросов
Существует ли ограничение или что-то для настройки, сколько запросов в секунду или что-то? Я ничего не могу найти