Я пытаюсь очистить эту веб-страницу: "https://www.watsons.com.sg/", но очистка всегда приводит к ошибке 400. Прилагается журнал запуска очистки как ссылка здесь:
['diffmarts.pipelines.DiffmartsPipeline']
2019-01-01 21:17:14 [scrapy.core.engine] INFO: Spider opened
2019-01-01 21:17:14 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-01-01 21:17:15 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <400 https://queue.watsons.com.sg/?c=aswatson&e=watsonprdsg&ver=v3-java-3.5.2&cver=62&cid=zh-CN&l=PoC+Layout+SG&t=https%3A%2F%2Fwww.watsons.com.sg%2F>: HTTP status code is not handled or not allowed
2019-01-01 21:17:15 [scrapy.core.engine] INFO: Closing spider (finished)
2019-01-01 21:17:17 [scrapy.core.engine] ERROR: Scraper close failure
Я попытался проверить источник вchrome, post и контент могут быть восстановлены простым «get». Поэтому на сайте не должно быть никакой защиты. Интересно, что не так. Оцените, если кто-то может предложить предложения или помощь. Спасибо.