Замораживание при загрузке больших наборов данных через Shodan?

Question

Я использую API-интерфейс Shodan через терминал Anaconda в Windows 10 для получения данных по указанному ниже запросу, но после нескольких секунд работы таймер ETA зависает, и моя сетевая активность падает до нуля.Нажатие Control + C перезапускает его, когда это происходит, и заставляет его двигаться снова на несколько секунд, но вскоре останавливается.

shodan download --limit 3100000 data state:"wa"  

Кроме того, когда он работает, скорость загрузки кажется довольно низкой;и я хотел узнать, есть ли способ ускорить его?Интернет в моих университетах способен работать со скоростью свыше 300 Мбит / с, но скорость загрузки составляет 5 Мбит / с.

Я не знаю, как решить любую из этих проблем;на моем устройстве достаточно места, и интернет не отключается.Мы попытались запустить терминал Anaconda в качестве администратора, но это тоже не помогло.

Answer 1

Я получил ответ от поддержки Шодана;кросс-постинг некоторых из их ответов здесь -

API не предназначен для большого, массового экспорта данных.В результате вы столкнулись с несколькими проблемами / ограничениями:

1. Существует жесткий предел в 1 миллион результатов на поисковый запрос.Это означает, что невозможно загрузить все результаты для поискового запроса «состояние: ва».
2. API поиска работает лучше всего на первых нескольких страницах и постепенно реагирует на медленные запросы, которые вы получаете.Это означает, что первые несколько страниц возвращаются мгновенно, тогда как сотая страница может занять 10+ секунд.
3. Вы можете отправлять только 1 запрос в секунду, поэтому вы не можете мультиплексировать / распараллеливать поисковые запросы.

Многоуровневый анализ можно выполнить с помощью фасетов поиска.

Документация по фасетам в буклете shodan.pdf распространяется вокруг их сайта для получения сводной информации из их API.

Answer 2

Я не знаком с конкретным веб-сайтом, но в целом видение ограниченной скорости или остановленных загрузок не вызвано такими вещами, как «на вашей стороне», такими как подключение к университету, или даже вашим сценарием загрузки.

Шансычто веб-сайт хочет защитить себя, и что вам нужно использовать API по-разному (например, с другой учетной записью).Или что у вас есть некоторые ограничения на использование в зависимости от вашей учетной записи, на которые вы нажали.

Наилучшим способом действий может быть обращение на веб-сайт и спросить их, как это сделать.