получить (динамическая загрузка страницы) содержимое с помощью PHP / CURL? - PullRequest
0 голосов
/ 13 марта 2012

Я пытаюсь запрограммировать веб-загрузку с использованием PHP / CURL, но я сталкиваюсь с проблемой при обработке определенной страницы, которая заключается в динамической загрузке некоторого содержимого !! .. , чтобы объяснить больше : когда я пытаюсь загрузить страницу с помощью PHP / CURL, я не получаю некоторое содержимое! Затем я обнаружил, что это содержимое загружается после загрузки страницы. и именно поэтому CURL не обрабатывает это пропущенное содержимое.

Может ли кто-нибудь мне помочь!

мой пример кода:

$ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_REFERER, $reffer);
    curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, $redirect);
    curl_setopt($ch, CURLOPT_COOKIEFILE, ABSOLUTE_PATH."Cookies/cookies.txt");
    curl_setopt($ch, CURLOPT_COOKIEJAR, ABSOLUTE_PATH."Cookies/cookies.txt");
$result = curl_exec($ch);

Ответы [ 2 ]

1 голос
/ 13 марта 2012

Какой URL вы пытаетесь загрузить?Возможно, запрашиваемая страница содержит один или несколько запросов AJAX, которые загружают контент после факта.Я не думаю, что cURL может вместить загруженную во время выполнения информацию через AJAX или другой запрос XHR.

Возможно, вы захотите взглянуть на что-то вроде PhantomJS , который представляет собой безголовый браузер WebKit, который будетполностью выполнить страницу и вернуть динамически собранный DOM.

0 голосов
/ 13 марта 2012

Поскольку страница использует javascript для загрузки контента, вы не сможете сделать это через cURL.Проверьте эту страницу для получения дополнительной информации о проблеме: http://googlewebmastercentral.blogspot.com/2007/11/spiders-view-of-web-20.html

...