Почему я получил пустой список, используя оболочку Scrapy? - PullRequest
0 голосов
/ 07 января 2020

Веб-сайт "https://www.jbhifi.com.au/collections/laptops". Я пытаюсь отсканировать href для «следующей страницы».

Area I'm trying to crawl

Но почему оболочка Scrapy возвращает пустой список? Я использую утверждение:

response.css("li.ais-pagination--item ais-pagination--item__next a").xpath("@href")

Пожалуйста, покажите мне, как очистить это с помощью Scrapy. Я подозреваю, что это потому, что класс начинается с «ais» (но не знаю, почему это вызывает проблему). Это случилось со мной в прошлом. Любые решения? Ура!

1 Ответ

0 голосов
/ 08 января 2020

Необходимо понимать, что если вы извлекаете селекторы просто на основе элемента inspect, он не работает таким образом. Вам нужно проверить исходный код страницы, что на самом деле происходит во время загрузки страницы. При проверке мы можем видеть весь тот контент, который все запрашивают на странице обновления. В вашем случае нет такого класса в источнике страницы ais-pagination--item__next. Вы должны отслеживать сеть, проверять, по какому вызову осуществляется нажатие, нажав кнопку на следующей странице, и взломать логи c, которая реализуется.

...