Обработка бесконечного пользовательского интерфейса прокрутки в BeautifulSoup

Question

Я смотрю, как очистить источник Linkedin (https://www.linkedin.com/mynetwork/invite-connect/connections/), но это кажется невозможным с бесконечной прокруткой. Как с этим бороться? Я не хочу использовать Selenium (позже хочу реализовать как веб-сервис).

import bs4
from bs4 import BeautifulSoup
import requests

def scraping(webpage):
    headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
    response= requests.get(str(webpage), headers=headers)
    soup = BeautifulSoup(response.text,"html.parser")
    print(soup)

scraping('https://www.linkedin.com/mynetwork/invite-connect/connections')

Answer 1

BeautifulSoup может помочь только с HTML, который вы ему дадите; вам нужно заставить LinkedIn возвращать больше HTML. Контент не в HTML, который у вас есть, поэтому вы должны его получить. Браузер, вероятно, использует javascript LinkedIn, чтобы заметить, что вы прокручиваете, и поэтому ему нужно извлечь больше контента и добавить больше HTML на страницу - вам нужно как-то повторить эту выборку контента.

Плохо новость: BeautifulSoup не знает API или javascript. Вам понадобится другой инструмент.

Хорошие новости: для этого есть инструменты! Вы, безусловно, могли бы использовать Selenium, что, вероятно, было бы самым простым способом решения этой проблемы, поскольку он очень хорошо копировал бы среду браузера для этих целей.

Если вы абсолютно привержены тому, чтобы не использовать Selenium, я рекомендую вам глубоко -Дай на сайт LinkedIn и посмотри, сможешь ли ты выяснить, какие биты javascript отвечают за выборку большего количества данных, и реплицировать сетевые запросы, которые они делают, а затем проанализировать эти данные самостоятельно.

Для большинства людей Тем не менее, Selenium будет правильным ответом.