Web Scraping с использованием функции поиска и сохранения результатов с возвращенной страницы

Question

Я пытаюсь использовать опцию поиска в https://www.homecentre.com/ae/en/ и сохранить количество продуктов, отображаемых в выходной таблице для каждого поиска

import requests
from bs4 import BeautifulSoup
import pandas as pd

r = requests.get("https://www.homecentre.com/ae/en/", params=dict(
query="baby toys",
page=2
))

text = r.text

Проблема в том, что он показывает только исходный код первой страницы, а не тот, который искали.

Я пытаюсь получить исходный код страницы ниже и сохранить 22 продукта в качестве вывода

Я не уверен, является ли это логической ошибкой или чем-то еще.

Answer 1

Во-первых, на этом URL нет второй страницы.

Во-вторых, вы отправляете этот запрос по неправильной ссылке.

Вам нужно сделать следующее:

response = requests.get('https://www.homecentre.com/ae/en/search/', params=dict(q='baby toys'))

print(response.url)
# https://www.homecentre.com/ae/en/search/?q=baby+toys