Включить выделение элемента с помощью Scrapy Shell

Question

Я пытаюсь распечатать все названия продуктов этого веб-сайта, используя оболочку scrapy: 'https://www.woolworths.com.au/shop/browse/drinks/cordials-juices-iced-teas/iced-teas'

Как только он открывается, я начинаю получать:

fetch('https://www.woolworths.com.au/shop/browse/drinks/cordials-juices-iced-teas/iced-teas')

И я пытаюсь распечатать название каждого продукта, в результате ничего не выбрано:

>>> response.css('.shelfProductTile-descriptionLink::text')
output:  []

Также пробовал:

>>> response.css('a')
output:  []

Как я могу сделать ? Спасибо

Answer 1

Ваш код правильный. Что происходит, так это то, что в HTML элементе, найденном при помощи скрапа, нет элемента a. Когда вы посещаете страницу с помощью своего браузера, список продуктов заполняется с помощью javascript на стороне браузера. Их нет в коде HTML.

В do c вы найдете методы для предварительной визуализации javascript. Может, тебе стоит это попробовать.