Как я могу уменьшить просроченные запросы? - PullRequest
Новая
       51

Как я могу уменьшить просроченные запросы?

0 голосов
/ 10 июля 2019

Я назначаю 30 запросов по темам каждого сайта.Для некоторых 15-20 запросов идут напрасно.Как я могу уменьшить это?

Я извлекаю данные с сайта с помощью библиотеки Python BeautifulSoup. 

The architecture of the site is as follows ( each topic ):
      www.abc.com/
      www.abc.com/1
      www.abc.com/2
      www.abc.com/3
      www.abc.com/4
      www.abc.com/5
      www.abc.com/6

for firstTemplate in firstTemplates:
      i=1
      while i < 30:
          sendRequest = requests.get(firstTemplate + str(i))
          source = BeautifulSoup(sendRequest.content, "lxml")
          i = i + 1

Когда я смотрю на все проблемы сайта, средний/ номер 25-26.Но не все потоки одинаковы, и я назначаю 30 запросов фиксированными.Например: www.abc.com/5 после 30 запросов.Я кидаю 25 запросов ни за что.Должен ли я написать что-то вроде «вытащить те же данные из цикла»?Я думаю, что это улучшит производительность программы.Но я не знаю как.

...