красивый суп find_all пропускает индекс класса, если данные не находятся внутри div - PullRequest
Новая
       129

красивый суп find_all пропускает индекс класса, если данные не находятся внутри div

1 голос
/ 19 июня 2020

я пытаюсь удалить данные с веб-сайта, чтобы понять мою проблему, вот пример

1-я итерация 

<span class="lot-details-desc right">$7,344 USD
                        </span>
<span class="lot-details-desc right">Automatic
                        </span>
<span class="lot-details-desc right">Mercedes
                        </span>

2-я итерация 

<span class="lot-details-desc right">$6000 USD
                        </span>
<span class="lot-details-desc right">     #NO DATA HERE
                        </span>
<span class="lot-details-desc right">Mercedes
                        </span>

IN AL OOP

при извлечении с использованием красивого супа 

price = soup.find_all("span", {"class": "lot-details-desc right"})[0].get_text()           
  print(price)    
  trans = soup.find_all("span", {"class": "lot-details-desc right"})[1].get_text()           
  print(trans)
  name = soup.find_all("span", {"class": "lot-details-desc right"})[2].get_text()     
  print(trans)

я получаю результат 

1st iteration
price=$7,344 USD
trans=Automatic
name=Mercedes 


2nd iteration
price=$6000 USD
trans=Mercedes
name=ERRORRR( out of bound cuz this one find_all indicates only 0 and 1 index instead of 0 1 2)

любые предложения приветствуются

1 Ответ

1 голос
/ 19 июня 2020

Данные на этом сайте загружаются динамически через JavaScript. Вы можете использовать модуль requests, чтобы напрямую получать данные из их API: 

import re
import json
import requests


url = 'https://www.copart.com/lot/25831510/'
data_url = 'https://www.copart.com/public/data/lotdetails/solr/{lot_id}'
headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:77.0) Gecko/20100101 Firefox/77.0'}

lot_id = re.search(r'lot/(\d+)', url).group(1)


with requests.session() as s:
    s.get(url, headers=headers).text # load cookies
    data = s.get(data_url.format(lot_id=lot_id), headers=headers).json()

    # ucomment this to see all data:
    # print(json.dumps(data, indent=4))

    name = data['data']['lotDetails']['mkn']
    trans = data['data']['lotDetails']['tsmn']
    price = data['data']['lotDetails']['la']

    print('Name={} Trans={} Price={}'.format(name, trans, price))

Печать: 

Name=TOYOTA Trans=AUTOMATIC Price=7344.0
...