Я пытаюсь почистить несколько страниц красивой парой.Однако в URL-адресе изменяются два параметра.
Я пробовал этот код безуспешно.
from urllib.request import urlopen
base_url= "https://superstats.dk/"
n = 8
for i in range(1, n+1):
if (i == 1):
# handle first page
response = urlopen(base_url)
response = urlopen(base_url + "program?aar=201" % i)
response_plus =urlopen(response + "%2F201" % i+1)
data = response_plus.read()
Это вывод, который я хотел бы перебрать на нескольких страницах.
import requests
from bs4 import BeautifulSoup
r = requests.get('https://superstats.dk/program?aar=2018%2F2019')
bs=BeautifulSoup(r.content, "lxml")
table_div=bs.find(id="content")
rows = table_div.find_all('tr')
for row in rows:
cols=row.find_all('td')
cols=[x.text.strip() for x in cols]
print (cols)