Очистка с BeautifulSoup и перебирая несколько страниц с 2-мя параметрами, изменяющимися в URL - PullRequest
0 голосов
/ 09 июля 2019

Я пытаюсь почистить несколько страниц красивой парой.Однако в URL-адресе изменяются два параметра.

Я пробовал этот код безуспешно.

from urllib.request import urlopen

base_url= "https://superstats.dk/"
     n = 8
      for i in range(1, n+1):
       if (i == 1):
       # handle first page
    response = urlopen(base_url)
    response = urlopen(base_url + "program?aar=201" % i)
    response_plus =urlopen(response + "%2F201" % i+1)
    data = response_plus.read()

Это вывод, который я хотел бы перебрать на нескольких страницах.

 import requests 
 from bs4 import BeautifulSoup

  r = requests.get('https://superstats.dk/program?aar=2018%2F2019')
  bs=BeautifulSoup(r.content, "lxml")

  table_div=bs.find(id="content")
  rows = table_div.find_all('tr')
  for row in rows:
     cols=row.find_all('td')
     cols=[x.text.strip() for x in cols]
     print (cols)

1 Ответ

0 голосов
/ 09 июля 2019

Используйте функцию format() для изменения значения двух параметров.

for i in range(1,9):
  url='https://superstats.dk/program?aar=201{}%2F201{}'.format(i,i+1)
  print(url)

Надеюсь, это поможет.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...