Scrapy Splash: нажатие кнопки не открывает следующую страницу - PullRequest
Новая
       16

Scrapy Splash: нажатие кнопки не открывает следующую страницу

0 голосов
/ 17 апреля 2019

У меня проблемы с выполнением кнопки «Нажатие» с помощью Scrapy-Splash. Сайт, который я пытаюсь почистить, это: https://search.siemens.com/en/?q=iot&lr=lang_en&as_oq=&as_sitesearch=&site=siemens_c_ww&client=siemens_f_ww&getfields=%2A&proxystylesheet=p_ia&queryString=lang%3Den%26site%3Dsiemens_c_ww%26q%3Diot%26lr%3Dlang_en%26collapse%3Dtrue%26class%3Dsearch%2Cbanner%2Ctext%26_charset%3DUTF-8&start=10&hl=en&access=p&filter=1&output=xml_no_dtd&sort=date%253AD%253AL%253Ad1&oe=UTF-8&ie=UTF-8&exclude_apps=1&ud=1&sheet=0

Я использую следующий скрипт: 

function main(splash, args)
  assert(splash:go(args.url))
  assert(splash:wait(0.5))
  assert(splash:runjs('document.querySelector(".next a[href]").click()'))
  splash:set_viewport_full()
  return {
    html = splash:html(),
    png = splash:png(),
    har = splash:har(),
  }
end

При выполнении я получаю первую страницу, а не следующую. Кнопка нажатия работает вручную. Я попытался использовать mouse_click() с тем же результатом. Спасибо за больше идей для решения этой проблемы:)

1 Ответ

2 голосов
/ 22 апреля 2019

Я думаю, вам нужно подождать некоторое время задержки после нажатия кнопки.Всплеск нужно время для рендеринга динамической страницы

...