Я написал веб-сканирование для linkedin, сайта, который использует ленивую загрузку при передаче информации профиля через DOM. Их API чрезвычайно ограничен, поэтому сканер кажется следующим лучшим методом массового доступа к соединениям.
Однако я не был уверен, есть ли способ заставить или запросить загрузку всей страницы, чтобы получить доступ к определенным c частям страницы, которые могут быть внизу (и не обслуживается, если пользователь не прокручивает страницу вниз).