Если я использую следующую кнопку, указанную в нижней части веб-страницы, она открывает веб-страницу, отличную от ее открытия, копируя URL-адрес в атрибут href его селектора CSS на новой вкладке
Я делаю скребок с помощью скрапа. Это начальный URL:
https://www.flipkart.com/search?q=laptops&otracker=search&otracker1=search&marketplace=FLIPKART&as-show=on&as=off.
Паук работает нормально до страницы 18. На странице 18 он переходит на другую веб-страницу, чем он должен перейти с помощью следующей кнопки. Чтобы проверить проблему, я вручную попытался открыть веб-страницу, используя ссылку в href, но попал на другую веб-страницу.
Ниже приведен код для открытия сканирования следующей веб-страницы-
if Spider_king.count<max_laptops:
Spider_king.page_number+=1
if Spider_king.page_number==2:
Spider_king.css_selector='a._3fVaIS'
else:
Spider_king.css_selector='a._3fVaIS:nth-child(12)'
next_page=response.css(Spider_king.css_selector+'::attr(href)').get()
yield response.follow(next_page,callback=self.parse)