Я использую простой скриптовый скрипт для очистки сайта с именем MOAT.com
Когда я захожу в оболочку, сайт загружается без ошибок, но я не могу получить ни один из ответов css, доступных черезРасширение селектора-гаджета.Загружается ли сайт слишком медленно или мне нужно использовать какие-то дополнительные инструменты помимо заставки для захвата изображений, которые я ищу?
У меня включены пользовательские агенты Я отключил режим приватного просмотра Docker, запустив -it -p8050: 8050 scrapinghub / splash --disable-private-mode Я пробовал несколько селекторов .css как в оболочке, так и в сценарии.
class MoatSpider(scrapy.Spider):
name = 'moat'
start_urls = ['https://moat.com/advertiser/amd']
def parse(self, response):
items = MoatScrape()
product_image = response.css('.show .fade-in::attr(src)').extract()
items['product_image'] = product_image
yield items