Так что у меня проблема с очисткой этой страницы
https://www.tribeofdumo.com/nefertiti-infinity-dress.
В теле ответа присутствует некоторый JavaScript, и я не могу xpath выбрать отдельные продукты, перечисленные на этой странице. Я в основном пытаюсь выбрать li.gallery-item, который я вижу только при проверке элемента, а не при просмотре источника.
Если вы просматриваете источник на этой странице, это почти то же, что и response.body. Кроме того, я догадался, что scrapy не может отобразить javascript, поэтому я установил Splash и попытался отобразить страницу, но даже с splash я получаю тот же вывод, и на скриншоте даже не отображаются продукты.