php crawler для веб-сайта с содержанием ajax и https

Question

Я пытаюсь получить содержимое веб-сайта на основе ajax и https, но безуспешно.

Возможно ли это.

Веб-сайт, который я пытаюсь сканировать, это:

https://www.bet3000.com/en/html/home.html#!https://www.bet3000.com/html/en/eventssportsbook.html?category_id=2117

Спасибо

Answer 1

Если вы посмотрите на HTTP-запросы, которые выполняет эта страница (используя, например, Firebug for Firefox) , вы заметите, что он выполняет несколько запросов Ajax.

Вместо того, чтобы пытаться выполнить код Javascript, возможно, вы могли бы запросить один из этих URL-адресов и получить данные - таким образом, вам также не придется анализировать HTML-код.

В данном конкретном случае один из этих запросов выполняется по следующему URL:

https://www.bet3000.com/ajax/en/sportsbook.json.html?category_id=2117&offset=&live=&sportsbook_id=0

Этот URL, похоже, возвращает некоторые данные JSON, которые могут вас заинтересовать ;-)
(Есть несколько символов до и после JSON, которые нужно будет удалить, но, кроме этого, я не вижу ничего, что выглядит не очень хорошо.)