Я обнаружил, что вы не можете использовать JavaScript в BeautifulSoup. У меня есть этот код:
from bs4 import BeautifulSoup
import requests
import warnings
import time
warnings.filterwarnings("ignore", category=UserWarning, module='bs4')
url = ["https://google.com"]
# add header
headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0'}
for item in url:
r = requests.get(item, headers=headers)
print(r.text)
time.sleep(2)
Я попытался запустить это, но я получил ошибку, чтобы включить JavaScript в моем браузере. У меня вопрос, есть ли способ очистить ссылки, которые используют javascript в python (с красивых или без, с предпочтениями)?
PS: Мой код JavaScript: <script src="https://linkvertise.net/cdn/linkvertise.js"></script><script>linkvertise(33538, {whitelist: [], blacklist: [""]});</script>