Как скрести все товары коротким описанием по приведенной ниже ссылке?

Question

import requests

page = requests.get("https://www.proflowers.com/mothers-day-flowers-mdf?navContent=T%3aMother%27s+Day%3aBest+Sellers&navLocation=T%3a1-10%3a1-19")


from bs4 import BeautifulSoup
soup = BeautifulSoup(page.content, 'html.parser')

for desc in soup.find_all('div', class_="product-summary__short-description"):
    print(desc.p.get_text())

Результат:

Иногда фермеры просто знают лучше! Радикальные розы из Кали! Цветочный эквивалент эмодзи в форме сердца. Новый девиз мамы День. Достаточно смел, чтобы сделать большое заявление. Для вашего образца для подражания, ваш герой. Разноцветные розы! За стойкую и сильную любовь. 20% от стоимости покупки пожертвовано No Kid Hungry. Прайм пастели. Небесные цветы из нашей коллекции премиум роз. Пройдите лишнюю милю с фермы свежих роз! Свет, камера, удовлетворение. Когда мы говорили все цвета, мы имели в виду ВСЕ цвета. Красивое и плохое дневное доказательство. Колесо обозрения цвета. Иногда красота шепчет. Мягкие лавандовые розы. Этот Бук опьяняет.

Я хочу очистить все продукты "краткое описание" .. может кто-нибудь, пожалуйста, помогите мне .. Спасибо: -)

Answer 1

Вы можете получить все описания, как это:

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0',
}

page = requests.get(r"https://www.proflowers.com/mothers-day-flowers-mdf?navContent=T%3aMother%27s+Day%3aBest+Sellers&navLocation=T%3a1-10%3a1-19", headers=headers)

soup = BeautifulSoup(page.content, 'html.parser')

for desc in soup.find_all('div', class_="name"):
    print(desc.a.get_text().strip())

выход

One Dozen Rainbow Mother's Day Roses
Two Dozen Rainbow Mother's Day Roses
15 Multi-Colored Tulips for Mom
30 Multi-Colored Tulips for Mom with Brilliant Cut Glass Vase and Chocolates
12 Long Stemmed Rainbow Mother's Day Roses
...