Веб очистить веб-сайт не отформатирован должным образом - PullRequest
0 голосов
/ 17 марта 2020

Я работаю над отменой ссылки на веб-сайт: "https://homeshopping.pk/search.php?q=samsung%20phones". Я затрудняюсь в доступе к одному из классов div. Я думаю, что он не отформатирован должным образом. Причина для того, чтобы задать этот вопрос, состоит в том, чтобы подтвердить, что он не отформатирован должным образом или я делаю что-то неправильно.

Снимок экрана: This is the website I want to scrape data from.

from bs4 import BeautifulSoup as soup  # HTML data structure
from urllib.request import urlopen as uReq  # Web client

page_url = "https://homeshopping.pk/search.php?q=samsung%20phones"

uClient = uReq(page_url)

page_soup = soup(uClient.read(), "html.parser")
uClient.close()

print(page_soup)

# finds each product from the store page
container1 = page_soup.find_all("div", {"class": "findify-container findify-search findify-widget-2"})

len(container1)
print(container1)

1 Ответ

1 голос
/ 17 марта 2020

Здесь эта вещь загружает продукты из - https://api-v3.findify.io/v3/search?user [UID] = TW1bcavcZKWeb32z & пользователя [с.и.д.] = 6kn0FcKb4QjgMz60 & пользователь & t_client = 1584424566753 & ключ = cae15cfe-508B-41d1-a019-161c02ffd97c & Q = самсунг% 20phones

Теперь эти параметры исправлены? У меня нет ни малейшей идеи. Вы можете разобрать это? Абсолютно, разбор с json .loads, а не bs

import requests, json

source = requests.get('https://api-v3.findify.io/v3/search?user[uid]=TW1bcavcZKWeb32z&user[sid]=6kn0FcKb4QjgMz60&user&t_client=1584424566753&key=cae15cfe-508b-41d1-a019-161c02ffd97c&q=samsung%20phones')
j = json.loads(source.content.decode())

for item in j["items"]:
    print(item["title"])
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...