xpath в браузере и ответ разные

Question

Когда я ищу xpath в моем браузере после проверки, он показывает требуемый результат, но когда я использовал тот же самый xpath моего ответа в скрапе, это должен пустой список.

Таким образом, когда я нахожу элемент в браузере, я показываю количество удовлетворяющих элементов, см., Например, рисунок.

Теперь, когда я запускаю тот же xpath из своего ответа в оболочке scrapy, я получаю пустойсписок, даже если статус ответа 200. Что может быть причиной этого?

Answer 1

Ваш браузер отображает Javascript код, и это приводит к изменениям в HTML-коде. Итак, в этом случае вам нужно использовать движок Javascript для запросов в Scrapy . Пожалуйста, посмотрите на scrapy-splash , чтобы отобразить JS и получить те же результаты, что и в браузере.

Answer 2

Если вы пользуетесь браузером Chrome, то можете немного отличаться по тегам, которые вы получаете из запросов или копий.

Подобно тому, как Chrome автоматически добавится в HTML.