Пытаясь соскрести данные с сайта, приходится перемещаться по нескольким тегам - PullRequest
1 голос
/ 11 февраля 2020

Я пытался перемещаться по HTML веб-страницы и очищать данные. Я думаю, что я определил правильные теги, но когда я присваиваю значения списку и проверяю длину, я ничего не получаю. Я использовал следующий код

import requests
from bs4 import BeautifulSoup as soup

my_url = 'https://seatgeek.com/justin-bieber-with-kehlani-and-jaden-smith-tickets/philadelphia-pennsylvania-lincoln-financial-field-2020-08-01-7-pm/concert/5164898'

response = requests.get(my_url).text
soup = soup(response, 'lxml')

containers = soup.find_all('div'),{'data-e2e':'event-listing'})


print(containers)

Когда я запускаю это, я получаю

вывод: []

я также пытался

containers = soup.find_all('div'),{'class':'omnibox__listing ds-0 omnibox__listing--alternate-layout'})

Это дает мне тот же результат, ничего.

1 Ответ

0 голосов
/ 11 февраля 2020

Если вы не хотите возиться с HTML, вы можете отправить запрос GET по указанному ниже адресу. Если вы откроете браузер и проверите сетевые запросы, которые веб-страница отправляет для получения своих данных, все результаты будут возвращены в виде JSON.

https://seatgeek.com/rescraper/v2/listings?_include_seats=1&client_id=MTY2MnwxMzgzMzIwMTU4&id=5164898&sixpack_client_id=5270c621-c506-48f4-8420-0a06161f718b

...