Код ответа Scrapy - 200, но тело ответа пустое / нулевое - PullRequest
Новая
       14

Код ответа Scrapy - 200, но тело ответа пустое / нулевое

0 голосов
/ 31 августа 2018

Исходя из того, что паук может работать правильно, функция разбора нормальна, но я только что обнаружил небольшую связку тела ответа, случайно равную нулю, когда код состояния ответа равен 200, например, 2 из 10 являются телом-нулем. В то же время я использую Chrome, чтобы проверить URL-адрес запроса, и это гарантирует, что открытая страница хорошая. Плюс, я уверен, что мой ip не забанен, все выглядит нормально.

Вот настройка: 

BOT_NAME = 'CategorySpider'
SPIDER_MODULES = ['CategorySpider.spiders']
NEWSPIDER_MODULE = 'CategorySpider.spiders'
ROBOTSTXT_OBEY = False
SPIDER_MIDDLEWARES = {
    'CategorySpider.middlewares.NodeMiddlewares': 100,
    'CategorySpider.middlewares.CategoryspiderSpiderMiddleware': 543,

}

'DEFAULT_REQUEST_HEADERS': {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
            "accept-encoding": "gzip, deflate, sdch, br",
            "accept-language": "zh-CN,zh;q=0.8",
            "upgrade-insecure-requests": 1,

        },

AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_MAX_DELAY = 60

Кто-нибудь поможет мне с этим? Большое спасибо

...