Очистка страницы бесконечной прокрутки, когда доступ запрещен по URL-адресу запроса

Question

Следующая страница продукта розничной торговли имеет бесконечную прокрутку, которая запрашивает данные по URL, к которому я не могу получить доступ:

https://www.aldoshoes.com/uk/en_UK/men/holiday-party-style

После нажатия «Просмотреть все», инструменты разработчика заявляютURL, который не отображает данные о продукте и выдает ошибку «неподдерживаемый бренд»:

https://www.aldoshoes.com/api/products/category/72050?currentPage=1&filters=&lang=en_UK&maxFilters=6&pageSize=17&region=uk&sort=relevance

Я хотел бы знать, возможно ли получить доступ ко всем данным продукта черезScrap без необходимости Selenium.

Спасибо.

Answer 1

Если вы посмотрите на HTTP-запрос, который делается при нажатии «Просмотреть все» с помощью инструментов разработчика браузера, вы заметите, что заголовки запроса содержат некоторые заголовки, специфичные для приложения:

x-aldo-region: uk
x-aldo-lang: en_UK
x-aldo-brand: aldoshoes
x-forwarded-akamai-edgescape: undefined
x-aldo-ssr-request-id: 
x-aldo-api-version: 2

Попробуйте включить эти заголовки в ваш запрос.