Запустите JavaScript в Beautifulsoup - PullRequest
0 голосов
/ 05 октября 2019

Я обнаружил, что вы не можете использовать JavaScript в BeautifulSoup. У меня есть этот код:

from bs4 import BeautifulSoup
import requests
import warnings
import time

warnings.filterwarnings("ignore", category=UserWarning, module='bs4')
url = ["https://google.com"]

# add header
headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0'}
for item in url:
    r = requests.get(item, headers=headers)
    print(r.text)
    time.sleep(2)

Я попытался запустить это, но я получил ошибку, чтобы включить JavaScript в моем браузере. У меня вопрос, есть ли способ очистить ссылки, которые используют javascript в python (с красивых или без, с предпочтениями)?

PS: Мой код JavaScript: <script src="https://linkvertise.net/cdn/linkvertise.js"></script><script>linkvertise(33538, {whitelist: [], blacklist: [""]});</script>

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...