Scrapy-splash не удалось загрузить URL https://www.epicgames.com/store/zh-CN/product/the-outer-worlds/home - PullRequest
Новая
       31

Scrapy-splash не удалось загрузить URL https://www.epicgames.com/store/zh-CN/product/the-outer-worlds/home

0 голосов
/ 12 октября 2019

Это URL, использующий для загрузки javascript.

Это URL

https://www.epicgames.com/store/zh-CN/product/bee-simulator/home

Я хочу получить цену в нем. Обычный сайт Я использовал scrapy-splash для загрузки сайта, но он не работал, так как цена не загружалась. fail_to_load_site Я знал, что в scrapy-splash используется скрипт Lua, поэтому я попытался исправить проблему, добавив немного перетаскивания или щелчка, чтобы активировать загрузку сайта, но это все равно не сработало.

Я также изменяю настройку тайм-аута скрипта Lua. Также не помогло.

В терминале я настроил докер

docker run -d -p 8050: 8050 scrapinghub / splash

В заставке я использую настройки по умолчанию 

function main(splash, args)
  assert(splash:go(args.url))
  assert(splash:wait(0.5))
  return {
    html = splash:html(),
    png = splash:png(),
    har = splash:har(),
  }
end
...