Мне трудно понять, как получить все содержимое страниц, которое я хочу. Я могу получить требуемую информацию со страницы 1, но получить следующие 15 страниц - непростая задача.
Я использую селен и chrome веб-драйвер для получения информации с этого сайта.
Это то, что я имею до сих пор, это пример получения 1-го фрагмента информации, которая мне нужна, с 1-й страницы.
Из того, что я заметил, URL-адреса страниц на этом веб-сайте следуют определенному шаблону с добавлением ;page=X в конце URL-адреса для загрузки содержимого указанной c страницы, где X - номер страницы, которую вы want.
;page=X
Например, https://www.canadiantire.ca/en/automotive/tires-wheels/tires.html?adlocation=LOL_TiresSCLP_MegaNavAuto_19309_en;page=15 загружает содержимое страницы 15.
https://www.canadiantire.ca/en/automotive/tires-wheels/tires.html?adlocation=LOL_TiresSCLP_MegaNavAuto_19309_en;page=15
В своем коде вы можете l oop просматривать каждую страницу и очищать содержимое.