Всплеск проблемы с https://sailing -channels.com / подписчиками - PullRequest
0 голосов
/ 26 января 2019

Я пытаюсь в проекте scrapy-with-splash получить несколько полей с веб-сайта "https://sailing -channels.com / by-абонентов ". Этот сайт использует Java для извлечения и удаления списков при прокрутке.
Мне не повезло, заставив сервер-заставку предоставить мне полный набор данных или подробные списки по этому вопросу.

Мой первый вопрос: может ли всплеск даже сделать это?

Мне действительно все равно, как я получаю эти данные. Я бы предпочел сделать это с помощью программы, но любой инструмент, который может получить мне поля с этого сайта в файле .csv, сделает эту работу. У кого-нибудь есть предложения?

Спасибо за любой совет

1 Ответ

0 голосов
/ 26 января 2019

Почему вы хотите сделать это?У них довольно хороший API, отметьте https://sailing-channels.com/api/channels/get?sort=subscribers&skip=0&take=5&_=1548520116425.Таким образом, вы можете выполнять итерации, увеличивая аргумент skip и анализируя каждый раз json.Выглядит как очень перспективный способ.

...