Как разобрать oddsportal с веб-сервисами Amazon - PullRequest
0 голосов
/ 03 ноября 2019

Я бы хотел автоматически анализировать данные с веб-сайта oddsportal с помощью веб-сервера amazon. Я пытаюсь использовать питон и селен. На моем локальном компьютере все работает нормально, но я бы хотел анализировать данные каждый день автоматически. Однако, как только я пытаюсь запустить его на веб-сервере Amazon, безголовый веб-драйвер не может загрузить страницу. Интересная часть (или для меня, я бы сказал, скорее раздражающая) заключается в том, что я могу анализировать любой другой тип веб-страниц, только oddsportal, который, похоже, не работает.

Как я уже говорил, он работает на моем локальном компьютере, но я хочу автоматически анализировать данные. Я нанял сервер Ubuntu, и сделал настройку для использования селена. У меня были некоторые предположения, в чем может быть проблема:

  • Я подумал, что, возможно, эти сайты не могут быть проанализированы безголовым веб-драйвером по какой-то причине, но он работает для меня локально.

  • Я подумал, может быть, имеет значение, где находится мой наемный сервер, но он не работал ни во Франкфурте, ни в США.

  • Что я действительно не понимаюв том, что я могу загружать любые другие веб-сайты и у меня это работает на моем локальном компьютере.

Я использую окна локально, но я не думаю, что это может быть проблемой.


from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys


chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')

driver = webdriver.Chrome(executable_path=r"/home/ubuntu/chromedriver", chrome_options=chrome_options)

#driver.get('https://www.facebook.com/') # this works fine
driver.get('https://www.oddsportal.com/') # this is not
driver.save_screenshot('screenshot.png')

Я был бы очень очень признателен, если бы кто-то мог объяснить этодля меня загадка.

...