Я пытаюсь собрать комментарии о товаре с китайского сайта электронной коммерции JD.com .
Я использую Scrapy + Spla sh, и я проверяю свой код lua
ниже,
function main(splash, args)
assert(splash:go("https://item.jd.com/3821980.html"))
splash:wait(1)
splash:set_viewport_full()
local btn = splash:select('li[data-anchor="#comment"]')
btn:mouse_click{y=2}
splash:wait(1)
splash:set_viewport_full()
local nxt = splash:select('a[class="ui-pager-next"][href="#comment"]')
nxt:mouse_click{y=2}
splash:wait(1)
return splash:png()
end
Однако, что я замечаю, так это то, что когда пагинация переходит на страницу 2, содержимое остается на странице 1 (не изменяется). Очевидно, я упустил что-то важное здесь. Кто-нибудь может указать мне направление?
снимок экрана