Получить содержимое страницы

Question

Я хочу проанализировать некоторые данные страницы службы Google (adplanner). Проблема в том, что Google показывает содержимое страницы с помощью JS, и нет никаких API. Например, у меня есть такой URL-адрес запроса: https://www.google.com/adplanner/planning/site_profile?hl=en#siteDetails?identifier=stackoverflow.com&lp=true

А в полученном коде вижу:

document.write(unescape("%3Cscript src='" + AP_gaJsHost + "google-analytics.com/ga.js' type='text/javascript'%3E%3C/script%3E"));

Я получаю данные страницы, используя JQuery:

$.get(requestUrl, function(data) {console.log(data);} );

requestUrl - это URL, который я написал под этим текстом.

Итак, есть ли способы получить текст данных с этой страницы?

Answer 1

Попробуйте PhantomJS .Он может загрузить страницу, запустить весь javascript, а затем вы можете получить любой текст, который вы хотите (через DOM или jQuery), как только закончится рендеринг javascript.В репозитории github много хороших примеров.