Некоторые веб-сайты имеют различный внешний вид при доступе в разных местах.Я делаю проект по ssh с системой Linux, требуя, чтобы я очистил данные с одного и того же веб-сайта, предполагая, что мое местоположение находится в разных странах.
Я попробовал пакет requests (Я получил IP прокси от https://free -proxy-list.net ):
url = 'https://www.ebay.com'
proxies = {'https:':'http://' + some_proxy_IP),
'http':'http://' + some_proxy_IP_2)}
u_a = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.82 Safari/537.36"
page = requests.get(url, proxies,headers={"USER-AGENT":u_a})
soup = BeautifulSoup(page.text, 'html.parser')
p_soup = soup.prettify()
Однако веб-сайты, которые он получает с разными прокси-серверами, все те же, что и у меня из моего физического местоположения.
Правильно ли я использую запросы?Или я должен использовать запросы здесь?
Если нет, подойдет ли NetworkManager моей цели?Или какие-либо другие пакеты / методы (даже JS приветствуется) рекомендуются для этой цели?