Я удаляю URL с кнопки «Последняя» страницы, с которой я выберу номер последней страницы и использую номер, чтобы зациклить скребок в течение того же промежутка времени, что и номер последней страницы.
Я могу выбрать номер последней страницы, но проблема заключается в том, что в некоторых случаях на странице нет данных, нет кнопки номера последней страницы и нет URL-адреса для кнопки ... поэтому в этих случаях яя получаю TypeError: 'NoneType' object is not callable
Теперь, как я могу написать код, чтобы в случае отсутствия последней кнопки (URL) код продолжался для следующей итерации, приведенной ниже, это код
for y in prepost:
querystring = {"source": x,
"allSearch": "",
"amountFrom": "1",
"amountTo": "50000",
"startdate": now,
"enddate": now,
"topUpSearch": "topUpSearch",
"status": "1",
"rType": y,
"per_page": 1}
with requests.Session() as s:
p = s.post(url, data=payload)
rep = BeautifulSoup(p.content, "html.parser")
res = s.get(t_url, params=querystring)
soup = BeautifulSoup(res.content, 'lxml')
red = BeautifulSoup(res.content, "html.parser")
last = red.find('li', text={"Last ›"})('a')
print(last)
pp = int((last[0]['href']).split('per_page=')[-1]) + 1
pn = list(range(1, pp))