Xpath верный, но паук Scrapy не работает

Question

Я пытаюсь скачать с веб-страницы, я идентифицирую выражение XPath и затем запускаю паука, но ничего не загружается.Веб-страница: https://octopart.com/electronic-parts/integrated-circuits-ics Вот код:

for product in response.xpath("//div[@class='serp-card-header media']/div[@class='media-body']"):
        yield {'name': product.xpath("//a/span[@class='part-card-manufacturer']/text()").extract_first()}

Answer 1

Этот сайт использует простое обнаружение ботов.Скорее всего, вы используете пользовательский агент scrapy по умолчанию.Поэтому вместо этого вам нужно установить реального агента пользователя в вашем settings.py:

USER_AGENT = '[replace with a real user agent]'

. См. Документацию .

. После этого вы получите некоторые результаты.,Однако ваш XPath также неверен.Внутри цикла for, когда вы делаете относительный XPath, он должен начинаться с .//a/span....Смотрите здесь причину, по которой: https://docs.scrapy.org/en/latest/topics/selectors.html#working-with-relative-xpaths