Я пользуюсь scrapy splash. Проблема в том, что splash разрешает использовать только одну конечную точку на запрос, поэтому, если я использую render.html
, я не могу использовать execute в качестве конечной точки. Мне нужно render.html
для загрузки данных JavaScript и выполнения конечной точки для выполнения пользовательской строки JavaScript.
Я пытался использовать сохранить ответ в файле и использовать его при следующем запросе с выполнением конечной точки, но не повезло
yield scrapy_splash.SplashRequest(URL,cookies=cks,endpoint='render.html',args={'lua_source': self.l, 'javascript': js,'wait': 5,'timeout':90,'html': 1, 'iframes': 1})
Я просто хочу выполнить несколько строк js на предоставленном javascriptстраница, поэтому мне нужно использовать и render.html, и выполнить