Python проблема BeautifulSoup с экстрактом - PullRequest
Новая
       6

Python проблема BeautifulSoup с экстрактом

0 голосов
/ 22 января 2020

Я хочу извлечь некоторые данные и поместить их в excel.

Моя проблема с извлечением, я не беру всю информацию, которую вижу при проверке элементов. При проверке элементов я вижу каждый элемент, марку, км, цену и т. Д. c ... и вся эта информация находится в моем отрывке, но не в том виде, в котором я вижу на веб-сайте.

URL-адрес Выписка: https://www.alcopa-auction.fr/salle-de-vente-encheres/nancy/2110

import requests
from bs4 import BeautifulSoup

URL = 'https://www.alcopa-auction.fr/salle-de-vente-encheres/nancy/2110'
page = requests.get(URL)

headers = {"User-Agent": 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.4 Safari/605.1.15'}

page = requests.get(URL, headers=headers)

soup = BeautifulSoup(page.content, 'html.parser')

print(soup)

1 Ответ

1 голос
/ 22 января 2020

Данные, которые вы видите на странице, встроены в страницу в формате JSON. Вы можете извлечь его, например, так: 

import re
import json
import requests

url = 'https://www.alcopa-auction.fr/salle-de-vente-encheres/nancy/2110'

txt = requests.get(url).text

json_string = re.search(r'window.Alcopa.searchResultsJSONString = \'(.*)\';', txt)[1]

data = json.loads( json.loads('"{}"'.format(json_string)) )

# print(json.dumps(data, indent=4))  # <-- uncomment this to see all data

print('{:<20} {:<70} {:<10} {:<10} {:<10}'.format('Brand', 'Model', 'Price', 'Sale Date', 'Sale End Date'))
for car in data['car']:
    print('{:<20} {:<70} {:<10} {:<10} {:<10}'.format(car['brand'], car['detailed_model'], car['price'], car['sale_date'], car['sale_end_date']))

Отпечатки: 

Brand                Model                                              Price      Sale Date  Sale End Date
RENAULT              TRAFIC L2H1 1200 1.9 DCI 80 PACK CLIM              2 900 €    22/01/2020 22/01/2020
FIAT                 DUCATO COMBI 3.3 M H2 2.2 MULTIJET                 7 000 €    22/01/2020 22/01/2020
CITROEN              C3 HDI 70 CONFORT                                  3 800 €    22/01/2020 22/01/2020
DS                   DS3 HDI 90 FAP AIRDREAM SO CHIC                    4 000 €    22/01/2020 22/01/2020
VOLKSWAGEN           POLO 1.6 TDI 90 CR FAP CONFORTLINE                 3 200 €    22/01/2020 22/01/2020
PEUGEOT              207 1.6 HDI 90CH BLUE LION ACTIVE                  3 100 €    22/01/2020 22/01/2020
FIAT                 PANDA MY 1.2 8V 69 CH TEAM                         1 600 €    22/01/2020 22/01/2020
FORD                 KUGA 2.0 TDCI 140 DPF 4X4 TITANIUM POWERSHIFT A    5 400 €    22/01/2020 22/01/2020

... and so on.
...