передача заголовка useragent
, похоже, решает проблему.
попробуйте что-нибудь вроде этого:
from urllib.request import urlopen as uReq, Request
from bs4 import BeautifulSoup as soup
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.3"}
my_url = 'https://www.amazon.in/s?k=graphics+card&ref=nb_sb_noss_2'
uClient = uReq(Request(url=my_url, headers=headers))
Но знайте, что если данные, которые вы пытаетесь удалить, являются динамическими c, bs4
вряд ли помогут. рассмотрите возможность использования pyppeteer
или selenium
, и т.д. c .. для этого.