Я пытаюсь получить код HTML со страницы финансов Yahoo, чтобы выполнить некоторые операции по сбору данных в Интернете и создать таблицы из данных и т. Д. c.
Проблема заключается в том, что любой веб-сайт, который я попробуйте это перенаправить меня на страницу ошибки / бота, поэтому я не могу получить код или нужную мне страницу, я использую редактор Pycharm Python и модуль request
import requests
from bs4 import BeautifulSoup
url = 'https://finance.yahoo.com/cryptocurrencies'
page = requests.get(url)
soup = BeautifulSoup(page.text, 'lxml')
print(soup)
Я могу сказать, что нахожусь не на той странице, поскольку в HTML есть что-то вроде robot и error. Из-за этого я не могу двигаться вперед в своем проекте.
Примечание: он отлично работает с некоторыми сайтами, но с некоторыми другими, я автоматически получаю сообщение об ошибке