Ошибка 405 в Scrapy Python, как можно решить? - PullRequest
Новая
       30

Ошибка 405 в Scrapy Python, как можно решить?

0 голосов
/ 29 декабря 2018

Я получаю ниже Ошибка, когда я запустил мой паук 

[scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2018-12-30 01:18:36 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2018-12-30 01:18:37 [scrapy.core.engine] DEBUG: Crawled (405) <GET https://www.propertyguru.com.sg/robots.txt> (referer: None)
2018-12-30 01:18:37 [scrapy.core.engine] DEBUG: Crawled (405) <GET https://www.propertyguru.com.sg/> (referer: None)
2018-12-30 01:18:38 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <405 https://www.propertyguru.com.sg/>: HTTP status

код не обрабатывается или не допускается

1 Ответ

0 голосов
/ 01 января 2019

Вам нужно будет включить User-Agent и cookies в свой запрос: 

def start_requests(self):
    headers = {'User-Agent': 'your user agent'}
    cookies = {'cookie-key': 'cookie-value'}
    yield scrapy.Request(
        url='https://www.propertyguru.com.sg/',
        method='GET',
        headers=headers,
        cookies=cookies,
        callback=self.parse,
        errback=self.handle_err,
    )

Чтобы получить User-Agent и cookies, откройте консоль разработчика Google Chorme и введите:

navigator.userAgent для User-Agent

document.cookie для файлов cookie

...