Webscraping в Excel VBA, в любом случае, чтобы ускорить процесс? - PullRequest
0 голосов
/ 31 марта 2019

Я работаю над веб-скребком в VBA excel.

Из-за механики веб-сайта, который я копирую, мне приходится проводить его через Excel, так как веб-сайт является правительственной платформой, которая проверяет черезфайл, расположенный на авторизованном компьютере из Internet Explorer, обычно я использовал Python или Parsehub, но мы здесь.

Проблема, с которой я столкнулся, заключается в том, что я собираю около 6 600 уникальных страниц (все отформатированы точното же самое), и в настоящее время загрузка каждой страницы занимает от 3 до 5 секунд, что приводит к необходимости запуска макроса от 6 до 9 часов.

Мой вопрос касается механики, учитывая, что я ограниченнасколько быстро может загружаться веб-страница, будет ли возможно или возможно запустить процесс для нескольких ссылок одновременно, вместо того, чтобы открывать по одной за раз, скажем, 10 за раз?Или гораздо более вероятно, что горлышком бутылки является мое интернет-соединение, а не скорость IE?

Просто мозговой штурм здесь.

1 Ответ

0 голосов
/ 01 апреля 2019

Вы можете использовать Selenium Basic, чтобы вы могли манипулировать Google Chrome, а с селеном или IE VBA вы можете запускать несколько экземпляров и запускать Javascript Scripts assync.


Я думаю, что лучший способ - это использовать HTTPRequest, если страницы не динамические (кто меняется с помощью функций javascript)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...