Структура DOM в Scrapy отличается от структуры в браузере

Question

Я пытаюсь научиться парсить веб-контент с помощью Scrapy и столкнулся с проблемой, которую не могу понять. Я не могу понять, почему это происходит; Я могу выбрать элемент DOM с помощью любых инструментов разработчика браузера, но когда я пытаюсь выбрать тот же элемент из Scrapy , возвращается пустой список. Здесь вы можете видеть, что этот xpath //*[@class='lSPager lSGallery']/li/a/img[@src] отлично работает в браузере , но ничего не возвращает, когда он вызывается из Scrapy :
Более того Scrapy полностью не видит lSPager класс

, который можно легко выбрать в браузере

Answer 1

Хорошо, я понял это сразу после того, как написал вопрос. Проблема заключалась в том, что у меня в браузере было включено JavaScript. Я отключил JS, и структура DOM в браузере стала такой же, как в Scrapy.