Привет! Я изучаю возможность очистки данных с веб-сайта ( нажмите на ссылку ), и я застрял с этой проблемой, я пытаюсь получить данные со следующей страницы веб-сайта (яуже есть данные с первой страницы) и когда я пытаюсь запросить данные со второй страницы, я снова получаю данные с первой страницы, надеюсь, что кто-то может помочь с этим. Вот некоторые из моих кодов и спасибо перед рукой:
import requests
from bs4 import BeautifulSoup
# url_base = "https://centuryrealestate.c21.com/real-estate/chicago-il-60610/LZ60610/#s="
def get_soups(url_base, int_pages):
"""
:param url_base: link, which we will request
:param int_pages: int, how many pages we will look
:return: list whit the soup of int_pages from url_base
"""
lst_soups = []
for s in range(int_pages):
url_aux = url_base + str(s*10)
r = requests.get(url_aux, headers={'User-agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0'})
c = r.content
soup = BeautifulSoup(c, "html.parser")
lst_soups.append(soup)
return lst_soups