Web Scraping с Python - пустое возвращение

Question

Я пытаюсь очистить отзывы от TrustPilot, но код всегда возвращается с пустыми листами и указанными мной заголовками / категориями. Может ли кто-нибудь помочь мне с этим?

from bs4 import BeautifulSoup, SoupStrainer
import pandas as pd
driver= webdriver.Chrome()
names=[] #List to store name of the product
headers=[] #List to store price of the product
bodies=[]
ratings=[] #List to store rating of the product
dates=[]
#driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get("https://www.trustpilot.com/review/birchbox.com?page=2")

content = driver.page_source
soup = BeautifulSoup(content, "html.parser", parse_only=SoupStrainer('a'))
for a in soup.findAll('a', href=True, attrs={'class':'reviews-container'}):
    name=a.find('div', attrs={'class':'consumer-information_name'})
    header=a.find('div', attrs={'class':'review-content_title'})
    body=a.find('div', attrs={'class':'review-content_text'})
    rating=a.find('div', attrs={'class':'star-rating star-rating--medium'})
    date=a.find('div', attrs={'class':'review-date--tooltip-target'})
    names.append(name.text)
    headers.append(header.text)
    bodies.append(body.text)
    ratings.append(rating.text)
    dates.append(date.text)

print ('webpage, no errors')

df = pd.DataFrame({'User Name':names,'Header':headers,'Body':bodies,'Rating':ratings,'Date':dates})
df.to_csv('reviews02.csv', index=False, encoding='utf-8')

print ('csv made')```

Answer 1

Проблема в soup.findAll('a', href=True, attrs={'class':'reviews-container'}) - не найдено никаких результатов, поэтому в l oop есть 0 итераций. Убедитесь, что вы используете правильные теги и имена классов. Также вам не нужно использовать al oop, потому что BeautifulSoup имеет метод find_all. Я использовал модуль запросов, чтобы открыть веб-страницу, хотя это не должно иметь никакого значения.

from bs4 import BeautifulSoup
import requests
req = requests.get("https://www.trustpilot.com/review/birchbox.com?page=2")
content = req.content
soup = BeautifulSoup(content, "lxml")
names = soup.find_all('div', attrs={'class': 'consumer-information__name'})
headers = soup.find_all('h2', attrs={'class':'review-content__title'})
bodies = soup.find_all('p', attrs={'class':'review-content__text'})
ratings = soup.find_all('div', attrs={'class':'star-rating star-rating--medium'})
dates = soup.find_all('div', attrs={'class':'review-content-header__dates'})

А теперь в каждом списке по 20 записей.