Scrapy spla sh не возвращая содержание - PullRequest
Новая
       37

Scrapy spla sh не возвращая содержание

0 голосов
/ 27 марта 2020

Я хочу почистить страницу здесь: https://www.tanium.com/careers/?p=department&t=Engineering#openings

Я использую Scrapy Spla sh, поскольку на странице JavaScript. Когда я отрисовываю страницу и возвращаю PNG, я получаю:

enter image description here

Как видите, фактические объявления о вакансиях отсутствуют, и это то, что я Пытаюсь поцарапать. Я проверил страницу дальше, и кажется, что списки не в фрейме. Я также установил для моего lua сценария включение частного режима. Это мой сценарий: 

function main(splash, args)
        splash.private_mode_enabled = false
        url = args.url
        assert(splash:go(url))
        assert(splash:wait(1))
        splash:set_viewport_full()
        return splash:png()
end

Есть идеи, как получить доступ к этим спискам с помощью Scrapy?

...