Python - Webscraping веб-страницы - PullRequest
Новая
       85

Python - Webscraping веб-страницы

0 голосов
/ 02 мая 2020

Я хочу очистить страницу с помощью BeautifulSoup. Страница содержит список продуктов (название, прайс-лист). Я использую следующий код для запуска 

import requests
from bs4 import BeautifulSoup
r = requests.get("https://www.example.com")
c = r.content
soup = BeautifulSoup(c, "html.parser")
print(soup.prettify())

, но вместо HTML это возвращает какие-то сценарии. Но при доступе и просмотре веб-страницы в браузере (Chrome) я могу без проблем видеть код HTML.

Это часть возвращенного кода скрипта выше 

data.listing = [
{
  "empty": false,
  "baseProduct": {
    "data": {
      "code": "123",
      "variants": ["567"],
      "brandData": {
        "code": "20",
        "name": "brand",
        "urlCode": "brand"
      },
      "productPictureForVariantSelectionEnabled": false,
      "validVariantGroups": false
    }
  }
}
]

1) Почему суп не возвращает код HTML, который я вижу в браузере?

2) Как разобрать такой список данных словарей?

...