Как я собираю данные с этого конкретного сайта?

Question

Я пытаюсь получить некоторые данные с этого сайта.

http://asphaltoilmarket.com/index.php/state-index-tracker/

Я пытаюсь получить данные, используя следующий код, но время ожидания истекло.

   import requests
   asphalt_r = requests.get('http://asphaltoilmarket.com/index.php/state-index-tracker/')

Этот веб-сайт открывается без проблем в браузере итакже я могу получать данные с других сайтов (с другой структурой), используя этот код, но мой код не работает с этим сайтом. Я не уверен, какие изменения мне нужно внести.

Кроме того, я могу получить данные для загрузки в Excel и другой инструмент (Alteryx), который использует GET из curl.

Answer 1

Они, вероятно, не хотят, чтобы вы просматривали их сайт.
Код ответа является быстрым свидетельством этого.

>>> import requests
>>> asphalt_r = requests.get('http://asphaltoilmarket.com/index.php/state-index-tracker/')
>>> asphalt_r
<Response [406]>

406 = Недопустимо

>>> asphalt_r = requests.get('http://asphaltoilmarket.com/index.php/state-index-tracker/', headers={"User-Agent": "curl/7.54"})
>>> asphalt_r
<Response [200]>

Прочитайте и следуйте их AUP и Условиям обслуживания.

Работа не соответствует разрешению.