Scrapy - Как исправить «Пожалуйста, включите куки», когда куки уже включены? - PullRequest
Новая
       9

Scrapy - Как исправить «Пожалуйста, включите куки», когда куки уже включены?

0 голосов
/ 30 марта 2020

Я пытаюсь отсканировать веб-сайт для обуви для университетского проекта. Из кода ниже я получаю 3-4 ботинка, но после этого для остальных ботинок я получаю ответ «Пожалуйста, включите куки», хотя я установил Cookies_enabled=True и Cookies_debug=True. В чем проблема? 

import scrapy
from scrapy.http import Request


class FirespiderSpider(scrapy.Spider):
    name = 'firespider'
    page_number = 2
    allowed_domains = ['kicksonfire.com']
    start_urls = ['https://www.kicksonfire.com/app/upcoming?page=1']

    def parse(self, response):
        shoe_links = response.xpath ('//div/a/@href').extract()[1:None]
        for link in shoe_links:
            yield scrapy.Request(link, callback=self.parse_page, dont_filter=True)


    def parse_page(self, response):
        shoe_name = response.xpath('//div/h2/text()').extract()[0].strip()
        print('Schuh:' + shoe_name)

Первая часть журнала Ответ «Пожалуйста, включите куки» в журнале

...