Этот скребок работает нормально. Я только хочу получить названия предметов на этой странице.
Walmart скребок
В оболочке Scrapy при использовании функции просмотра (ответа) открывается веб-страница с надписью «Ваш веб-браузер не принимает файлы cookie». Даже когда я добавляю информацию USER_AGENT в запуск оболочки Scrapy.
"Ваш веб-браузер не принимает файлы cookie."
В результате скребку не удается очистить любую информацию. Вещи, которые я изменил:
COOKIES_ENABLED = True
COOKIES_DEBUG = True
ROBOTSTXT_OBEY = False
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
DOWNLOADER_MIDDLEWARES = {'walmartscraper.middlewares.WalmartscraperDownloaderMiddleware': 543,}
У меня такое чувство, что мне нужно что-то добавить / изменить в разделе промежуточного программного обеспечения (это все еще код по умолчанию) и / или где-то реализовывать запросы. Это первый раз, когда я работаю с куки-файлами во время очистки, и информация, которую я нашел, не помогла мне понять это.
Любой совет очень ценится. Спасибо.