Python Beautifulsoup - проблема чтения <span>

Question

Я пытаюсь извлечь "brand-logo", "product-name", "price" и "best-price" из следующего HTML:

<div class="container">
  <div class="catalog-wrapper">
    <div class="slideout-filters"></div>
    <section class="catalog-top-banner"></section>
    <section class="search-results">
    <section class="catalog">
      <div class="row">
      <div class="col-xs-12 col-md-4 col-lg-3">
      <div class="col-xs-12 col-md-8 col-lg-9">
        <div class="catalog-container">
          <a class="catalog-product catalog-item ">
            <div class="product-image "></div>
            <div class="product-description">
              <div>
                <div class="brand-logo">
                  <span>PACO RABANNE</span>
                </div>
                <span class="product-name">
                    PACO RABANNE PERFUME MUJER 30 ML
                </span>
                <span class="price">Normal: S/ 219</span>
                <span class="best-price  ">Internet: S/ 209</span>

"brand-logo" и "product-name", но я не могу прочитать "price" и "best-price" Я попробовал это так:

box_3 = soup.find('div','col-xs-12 col-md-8 col-lg-9')   
    for div in box_3.find_all('div','product-description'):
    d={}
    d["Marca"] = div.find_all("div",{"class","brand-logo"})[0].getText()    
    d["Producto"] = div.find_all("span",{"class","product-name"})[0].getText()    
    d["Precio"] = div.find_all('span',class_='price')    
    d["Oferta"] = div.find_all('span',class_='best-price  ')    
    l.append(d)
    l

из

{'Marca': 'PACO RABANNE',
'Oferta': [],
 'Precio': [<span class="price">Normal: S/ 219</span>],
 'Producto': 'PACO RABANNE PERFUME MUJER 30 ML'}

кто-нибудь может мне помочь?

Answer 1

Вы можете найти "product-description" div и затем выполнить итерацию по нужным div классам:

from bs4 import BeautifulSoup as soup
import re
_to_find = ['brand-logo', 'product-name', 'price', 'best-price']
s = soup(content, 'html.parser').find('div', {'class':'product-description'})
final_results = [(lambda x: s.find('span', {'class':i}).text if not x else x.text)(s.find('div', {'class':i})) \
    for i in _to_find] 
filtered = [re.sub('^[\n\s]+|[\n\s]+$', '', i) for i in final_results]

Вывод:

['PACO RABANNE', 'PACO RABANNE PERFUME MUJER 30 ML', 'Normal: S/ 219', 'Internet: S/ 209']

Answer 2

К сожалению, без реального веб-сайта я не могу проверить решение: (.

Возможно, вам следует извлекать данные из «неработающей» части так же, как и рабочей (это удачное предположение -без веб-сайта или только веб-сайта, который будет проанализирован bs4, я действительно не могу его протестировать).

d["Precio"] = div.find_all('span',{"class","price"})[0].getText()    
d["Oferta"] = div.find_all('span',{"class","best-price"})[0].getText() 

Возможно, было бы неплохо создать новый метод / функцию, которая получит выбранный атрибут и обработаетпотенциальные ошибки.