Python Scrapy Splash не отображает сайт, застрял на экране загрузки - PullRequest
0 голосов
/ 04 мая 2019

Я хотел бы сделать следующий веб-сайт с Scrapy Splash.

https://m.mobilebet.com/en/sports/football/england-premier-league/

К сожалению, Splash всегда застревает на экране загрузки:

website

Я уже пытался использовать длительное время ожидания (до 60 секунд) безрезультатно.Моя версия Splash - 3.3.1, а для файла robots.txt установлено значение false.

Спасибо!

1 Ответ

0 голосов
/ 04 мая 2019

Я не думаю, что это будет возможно - этот сайт нуждается в визуализации JS. Поэтому вам нужно будет использовать что-то вроде Selenium, чтобы почерпнуть из него информацию. Кроме того, возможно, вы ищете API для этой информации - поскольку удаление ее с веб-сайта может быть очень неэффективным. Попробуйте поискать "спортивный REST API" - найдите его с Python SDK.

Хорошо, так что Splash должен сделать JS для вас, кажется. Но я бы не стал слишком на это полагаться - эти веб-сайты постоянно меняются, и они разрабатываются для последних браузеров. Лучше всего использовать Selenium с драйвером Chromium (хотя использование API гораздо предпочтительнее).

...