Scrapy + Splash + Пользовательский JavaScript - PullRequest
0 голосов
/ 03 октября 2019

Я пользуюсь scrapy splash. Проблема в том, что splash разрешает использовать только одну конечную точку на запрос, поэтому, если я использую render.html, я не могу использовать execute в качестве конечной точки. Мне нужно render.html для загрузки данных JavaScript и выполнения конечной точки для выполнения пользовательской строки JavaScript.

Я пытался использовать сохранить ответ в файле и использовать его при следующем запросе с выполнением конечной точки, но не повезло

yield scrapy_splash.SplashRequest(URL,cookies=cks,endpoint='render.html',args={'lua_source': self.l, 'javascript': js,'wait': 5,'timeout':90,'html': 1, 'iframes': 1})

Я просто хочу выполнить несколько строк js на предоставленном javascriptстраница, поэтому мне нужно использовать и render.html, и выполнить

...