проблема с извлечением текста из div с BS4 - PullRequest
Новая
       6

проблема с извлечением текста из div с BS4

1 голос
/ 14 июля 2020

Я пытаюсь получить ключевую информацию о некоторых предметах, выставленных на торги, с этого адреса (https://www.catawiki.com/a/346823-japanese-antiques-auction-samurai), используя bs4 и json. Мне удалось получить большую часть информации из словаря в div (как указано в l oop), однако «цены» и «статус лота» находятся не в одном месте. Независимо от того, что я делаю с select, select_one, find, find_all, значения не отображаются в напечатанном результате, как если бы они не существовали в исходной кодировке. Что я сделал не так? есть ли предельная глубина div для выполнения bs4? почему цены явно отображаются в исходной кодировке, а не в супе?

это мои коды, и проблема возникает в последних двух строках: 

from bs4 import BeautifulSoup
import requests
import json
page = requests.get(
    'https://www.catawiki.com/a/346823-japanese-antiques-auction-samurai'
)
soup = BeautifulSoup(page.content, 'html.parser')
container = soup.find('main', class_='u-col-9-12 u-move-4-12 u-col-6-9-m u-move-4-9-m')

# extracting the value of 'results'

data_prop = json.loads(container.select_one("div.be-lot-list__loader")['data-props'])
result = data_prop.get('results')

# selecting items from dictionary and attributing values to each one of them
for i in range(len(result)):
    ids = result[i]['id']
    titles = result[i]['title']
    subtitles = result[i]['subtitle']
    favoriteCounts = result[i]['favoriteCount']
    auctionIds = result[i]['auctionId']
    biddingStartTimes = result[i]['biddingStartTime']

# abstracting prices and lot status

prince_lot = container.find_all('div', class_='be-lot__price u-placeholder')
print(prince_lot)

1 Ответ

0 голосов
/ 14 июля 2020

Цена и статус лота загружаются из внешнего URL https://www.catawiki.com/buyer/api/v1/lots/live?ids=, где ids= - это идентификаторы элементов на странице, разделенные запятыми.

Например: 

from bs4 import BeautifulSoup
import requests
import json

page = requests.get('https://www.catawiki.com/a/346823-japanese-antiques-auction-samurai')
soup = BeautifulSoup(page.content, 'html.parser')
container = soup.find('main', class_='u-col-9-12 u-move-4-12 u-col-6-9-m u-move-4-9-m')

# extracting the value of 'results'
data_prop = json.loads(container.select_one("div.be-lot-list__loader")['data-props'])
results = data_prop.get('results')

lots = requests.get('https://www.catawiki.com/buyer/api/v1/lots/live?ids=' + ','.join(str(result['id']) for result in results)).json()
lots = {l['id']: l for l in lots['lots']}

# uncomment to see all data:
# print(json.dumps(lots, indent=4))

for result in results:
    ids = result['id']
    titles = result['title']
    subtitles = result['subtitle']
    favoriteCounts = result['favoriteCount']
    auctionIds = result['auctionId']
    biddingStartTimes = result['biddingStartTime']

    price = lots[int(ids)]['current_bid_amount']['EUR']
    closed = lots[int(ids)]['closed']

    print(titles)
    print('Price:', price)
    print('Closed:', closed)
    print('-' * 80)

Печать: 

Katana - Tamahagane stem -  肥前国住廣任 Hizen kuni ju Hiroto met een NBTHK Hozon certificaat. - Japan - early Edo period, 17th century.
Price: 3700.0
Closed: True
--------------------------------------------------------------------------------
Yoroi (1) - Leather - Samurai - Japan - Meiji period (1868-1912)
Price: 2800.0
Closed: True
--------------------------------------------------------------------------------
Katana, Sword - Tamahagane steel - Rare KIKU engraved- NBTHK - 68cm Nagasa - Japan - 17th century
Price: 11000.0
Closed: True
--------------------------------------------------------------------------------
Tsuba - Iron - Benkei and Mii-Dera Bell - Japan - Edo Period (1600-1868)
Price: 1100
Closed: True
--------------------------------------------------------------------------------
Wakizashi - Steel - Mumei , toegeschreven aan 1e gen. Bizen Yokoyama Sukekane, Hoge kwaliteit montering ! - Japan - ca. 1850
Price: 2400.0
Closed: True
--------------------------------------------------------------------------------
Fuchikashira - Copper, Gold, Shakudo - Japan - Edo Period (1600-1868)
Price: 270
Closed: True
--------------------------------------------------------------------------------
Tsuba - Iron - Flowers - NBTHK Tokubetsu Kichio - Japan - Edo Period (1600-1868)
Price: 340.0
Closed: True
--------------------------------------------------------------------------------
Mengu/ Menpo - Lacquered metal - Lacquered metal facial samurai mask (menpo), with four-piece gorget (nodowa) with blue cords. - Japan - Meiji period (1868-1912)
Price: 390.0
Closed: True
--------------------------------------------------------------------------------

...and so on.
...