Scrapy сканирует <button rel = "next">

Question

Я использую Scrapy для сканирования данных на kogan.com «Следующая страница» - это кнопка с атрибутом rel="next" без href. Более того, я пытаюсь вручную добавить номер страницы к url, но номер page ограничен только page=10 и не может идти дальше (>10). Например, я набираю page=11, url остается в page=10. Так я предполагаю, что это антискрипционный механизм этого сайта? Единственный способ получить номер страницы больше 10 - нажать <button>. Ниже ссылка, по которой я ползу. https://www.kogan.com/au/shop/phones/?page=10

<button class="_11Gvc wJWlF" rel="next"><span>View more</span></button>

Answer 1

Этот веб-сайт имеет довольно хороший API, поэтому вы можете использовать его вместо этого.Проверьте ссылки в инструментах разработчика:

https://www.kogan.com/api/v1/products/?department=phones&group_variants=true&store=au&offset=360

Итак, вы можете циклически перебирать все страницы, изменяя offset и получать все доступные элементы.