Python: request.get ("какая-то ссылка"): я хочу увидеть request.get ("та же ссылка, но на следующей странице"), но дает мне содержимое "какой-то ссылки" - PullRequest
0 голосов
/ 05 октября 2019

Привет! Я изучаю возможность очистки данных с веб-сайта ( нажмите на ссылку ), и я застрял с этой проблемой, я пытаюсь получить данные со следующей страницы веб-сайта (яуже есть данные с первой страницы) и когда я пытаюсь запросить данные со второй страницы, я снова получаю данные с первой страницы, надеюсь, что кто-то может помочь с этим. Вот некоторые из моих кодов и спасибо перед рукой:

import requests
from bs4 import BeautifulSoup

# url_base = "https://centuryrealestate.c21.com/real-estate/chicago-il-60610/LZ60610/#s="
def get_soups(url_base, int_pages):
    """

    :param url_base: link, which we will request
    :param int_pages: int, how many pages we will look
    :return: list whit the soup of int_pages from url_base
    """
    lst_soups = []
    for s in range(int_pages):
        url_aux = url_base + str(s*10)
        r = requests.get(url_aux, headers={'User-agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0'})
        c = r.content
        soup = BeautifulSoup(c, "html.parser")
        lst_soups.append(soup)
    return lst_soups
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...