Scrapy следующая страница, без смысла результаты

Question

Надеюсь, у вас все хорошо!

Я перебираю некоторые веб-страницы, и когда я пытаюсь перейти на следующую страницу, я не могу этого сделать, потому что следующая страница получается, это не имеет значенияс тем, что я искал в первом случае.

Пример: первая страница ищет: https://www.mister -auto.es / buscar /? q = corteco Вторая страница: https://www.mister -auto.es / buscar /? Page = 2

Проблема, с которой я столкнулся, заключается в том, что результаты на втором этапе не имеют никакого смысла в том, как я выгляжуfor.

Я использую crawlspider с linkextractor, чтобы перейти к следующему.Могли бы вы дать мне руку?Большое спасибо за вашу поддержку.

Answer 1

Веб-сайт, который вы просматриваете, является динамическим , и когда вы меняете страницы, он не отражается в URL.

Вам нужен такой инструмент, как Puppeteer или Selenium для динамического отображения страницы, нажимайте кнопки и извлекайте нужный контент.Несмотря на то, что это отличный инструмент для определенных задач, Scrapy имеет свои ограничения.