Как использовать «запросы»? - PullRequest
Новая
       17

Как использовать «запросы»?

0 голосов
/ 28 мая 2020

Я кореец, который только начал изучать Python. Во-первых, я прошу прощения за свой английский sh.

Я научился использовать beautifulSoup на YouTube. А на некоторых сайтах сканирование прошло успешно. Однако я обнаружил, что сканирование go не очень хорошо работает на некоторых сайтах, и что мне пришлось настроить user-agent через поиск. Поэтому я использовал «запросы» для создания кода для установки пользовательского агента. Впоследствии код для чтения определенного класса из html использовался одинаково, но он не работал. 

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
url ='https://store.leagueoflegends.co.kr/skins'
response = requests.get(url, headers = headers)
soup = BeautifulSoup(response.text, 'html.parser')

for skin in soup.select(".item-name"):
print(skin)

Вот мой код. Понятия не имею, в чем проблема. Пожалуйста, помогите мне.

1 Ответ

1 голос
/ 28 мая 2020

Ваша проблема в том, что requests не отображает javascript. вместо этого он дает вам только «начальный» исходный код страницы. вам следует использовать пакет под названием Selenium . он позволяет вам управлять вашим браузером) Chrome, Firefox, ... et c) из Python. веб-сайт не заметит разницы, и вам не придется возиться с заголовками и пользовательскими агентами. на Youtube есть множество видео о том, как его использовать.

...