Почему find_all не возвращает все результаты, когда я использую BeautifulSoup? - PullRequest
Новая
       33

Почему find_all не возвращает все результаты, когда я использую BeautifulSoup?

0 голосов
/ 18 апреля 2020

Я пытаюсь разобрать страницу поиска работы в LinkedIn. Я хочу получить доступ к данным, содержащимся в теге <a>, с помощью class = job-card-search__link-wrapper js-focusable disabled ember-view. Это должно вернуть все имена работы всех результатов поиска работы. Метод find_all возвращает только 10 результатов, но в общей сложности более 10 результатов.

Вот код python, который я использовал для возврата результатов в списке: 

soup = BeautifulSoup(browser.page_source)
job_loc = results.find_all('a',{'class':'job-card-search__link-wrapper js-focusable disabled ember-view'}) #returns all jobs under the results section
job_name=[]
for job in job_loc:
    job_name.append(job.get_text().strip().replace('\n              \n                Promoted',""))
print(job_name)

Вот один пример кода HTML на странице LinkedIn, который содержит название задания .:

<a data-control-id="QyH5kElpSqqo8A7osUD+gg==" href="/jobs/view/1776859827/?eBP=CwEAAAFxjTMFYu0O-NJ50iRn84irOgoKIm_5169VkEgel8TqEDHartYAQgujawNHVilEARzzgM-9kSMZ5WEWapR1_XzxkH-J8iFmA1m96Q5UjVtBx-NdvkQGUrDlhsfs1vwiYGPtiiOishZ5NUot4TWaMGguIZVpPPdIzdbhIlSdl2El2dva9S8-66ZJTOaJsodHLwfHmmHHt8SNuKKzlJYEslmZN_zR7UnkQ0IwSQQc9xX4_xBFBlaAZ9Zt6u12Qa2GQWia7xxCSBIT8fYBx0wYf0z4USPeX-D3OQDjGS5kB97zl3N3AK4f672c8B8SZGMmneeF32c_kI4fTu_YBYrcBCm_6rPM7gA24Wfrf5GdRhnPq-cUaZGlgSdEL-PXdDjA_vZFdFo1vpN6ZLXw&amp;recommendedFlavor=SCHOOL_RECRUIT&amp;refId=fcdb0a51-09a5-43fe-93d9-cd9680a46f11&amp;trk=d_flagship3_search_srp_jobs" id="ember1010" class="job-card-search__link-wrapper js-focusable disabled ember-view">
            Data Analyst (2 months contract)
              <span class="job-card-search__promoted-tag label-16dp ml1">
                Promoted
              </span>
          </a>

Однако, у каждой работы есть такой же код HTML и текст следует изменить в соответствии с названием работы. Поэтому я хотел бы, чтобы мой код python возвращал все поиски работы.

Извините, я делаю это впервые, и любая помощь будет принята с благодарностью. Спасибо!

...