Beautiful Soup Error: при попытке получить данные с веб-страницы возвращается пустой массив

Question

Я пытаюсь загрузить список опросов общественного мнения с этой веб-страницы , используя прекрасный суп . Однако код, который я написал, возвращает пустой массив или ничего. Код, который я использовал ниже:

Код страницы выглядит так:

<div class="ST-c2-dv1 ST-ch ST-PS" style="width:33px"></div>
    <div class="ST-c2-dv2">41.8</div>

Вот что я попробовал:

import requests
from bs4 import BeautifulSoup

request = requests.get(quote_page) # take the page link
page = request.content  # extract page content

soup = BeautifulSoup(page, "html.parser")

# extract all the divs
for each_div in soup.findAll('div',{'class':'ST-c2-dv2'}):
    print each_div

На данный момент он ничего не печатает. Я пробовал также это:

tutti_a = soup.find_all("html_element", class_="ST-c2-dv2")

, а также:

tutti_a = soup.find_all("div", class_="ST-c2-dv2")

Но я получаю пустой массив [] или вообще ничего

Answer 1

Я думаю, что вы можете использовать следующий URL

import requests
from bs4 import BeautifulSoup as bs
import pandas as pd
r = requests.get('https://www.marktest.com/wap/a/sf/v~[73D5799E1B0E]/name~Dossier_5fSondagensLegislativas_5f2011.HighCharts.Sondagens.xml.aspx')
soup = bs(r.content, 'lxml')

results = []
for record in soup.select('p'):
    results.append([item.text for item in record.select('b')])
df = pd.DataFrame(results)
print(df)

Столбцы 5,6,7,8,9,10 соответствуют PS, PSD, CDS, CDU, Bloco, Outros / Brancos / Nulos

Вы можете удалить ненужные столбцы, добавить соответствующие заголовки и т. Д.