Сохраните и визуализируйте веб-страницу с PhantomJS и node.js - PullRequest
Новая
       21

Сохраните и визуализируйте веб-страницу с PhantomJS и node.js

59 голосов
/ 01 апреля 2012

Я ищу пример запроса веб-страницы, ожидания рендеринга JavaScript (JavaScript изменяет DOM), а затем захвата HTML-кода страницы.

Это должен быть простой пример с очевидным вариантом использования PhantomJS. Я не могу найти достойного примера, документация, похоже, посвящена использованию командной строки.

Ответы [ 6 ]

42 голосов
/ 02 апреля 2012

Из ваших комментариев, я думаю, у вас есть 2 варианта

  1. Попробуйте найти модуль узла phantomjs - https://github.com/amir20/phantomjs-node
  2. Запускать phantomjs как дочерний процесс внутри узла - http://nodejs.org/api/child_process.html

Редактировать:

Кажется, что phantomjs предлагает дочерний процесс для взаимодействия с узлом, см. Faq - http://code.google.com/p/phantomjs/wiki/FAQ

Edit:

Пример скрипта Phantomjs для получения разметки HTML страниц: 

var page = require('webpage').create();  
page.open('http://www.google.com', function (status) {
    if (status !== 'success') {
        console.log('Unable to access network');
    } else {
        var p = page.evaluate(function () {
            return document.getElementsByTagName('html')[0].innerHTML
        });
        console.log(p);
    }
    phantom.exit();
});
8 голосов
/ 15 марта 2016

С версией 2 phantomjs-node довольно легко напечатать HTML после его обработки. 

var phantom = require('phantom');

phantom.create().then(function(ph) {
  ph.createPage().then(function(page) {
    page.open('https://stackoverflow.com/').then(function(status) {
      console.log(status);
      page.property('content').then(function(content) {
        console.log(content);
        page.close();
        ph.exit();
      });
    });
  });
});

Это покажет вывод, как если бы он отображался в браузере.

Изменить 2019:

Вы можете использовать async/await: 

const phantom = require('phantom');

(async function() {
  const instance = await phantom.create();
  const page = await instance.createPage();
  await page.on('onResourceRequested', function(requestData) {
    console.info('Requesting', requestData.url);
  });

  const status = await page.open('https://stackoverflow.com/');
  const content = await page.property('content');
  console.log(content);

  await instance.exit();
})();

Или, если вы просто хотите проверить, вы можете использовать npx

npx phantom@latest https://stackoverflow.com/
4 голосов
/ 01 июня 2012

В прошлом я использовал два разных способа, в том числе метод page.evaluate (), который запрашивает DOM, о котором упоминал Деклан. Другой способ, которым я передал информацию с веб-страницы, - выложить ее в console.log () и использовать в сценарии phantomjs: 

page.onConsoleMessage = function (msg, line, source) {
  console.log('console [' +source +':' +line +']> ' +msg);
}

Я мог бы также перехватить переменную msg в onConsoleMessage и найти некоторые инкапсулированные данные. Зависит от того, как вы хотите использовать вывод.

Затем в скрипте Nodejs вам нужно будет просмотреть выходные данные скрипта Phantomjs: 

var yourfunc = function(...params...) {
  var phantom = spawn('phantomjs', [...args]);
  phantom.stdout.setEncoding('utf8');
  phantom.stdout.on('data', function(data) {
    //parse or echo data
    var str_phantom_output = data.toString();
    // The above will get triggered one or more times, so you'll need to
    // add code to parse for whatever info you're expecting from the browser
  });
  phantom.stderr.on('data', function(data) {
    // do something with error data
  });
  phantom.on('exit', function(code) {
    if (code !== 0) {
      // console.log('phantomjs exited with code ' +code);
    } else {
      // clean exit: do something else such as a passed-in callback
    }
  });
}

Надеюсь, это поможет некоторым.

3 голосов
/ 18 декабря 2013

Почему бы просто не использовать это?

var page = require('webpage').create();
page.open("http://example.com", function (status)
{
    if (status !== 'success') 
    {
        console.log('FAIL to load the address');            
    } 
    else 
    {
        console.log('Success in fetching the page');
        console.log(page.content);
    }
    phantom.exit();
});
1 голос
/ 26 апреля 2014

Вот старая версия, в которой я использую запущенные node, express и phantomjs, которые сохраняют страницу в формате .png. Вы можете настроить его довольно быстро, чтобы получить HTML.

https://github.com/wehrhaus/sitescrape.git

1 голос
/ 26 июня 2013

Позднее обновление в случае, если кто-то наткнется на этот вопрос:

Проект на GitHub, разработанный моим коллегой, нацелен на то, чтобы помочь вам сделать это: https://github.com/vmeurisse/phantomCrawl.

Он все еще немного молод, ему определенно не хватает документации, но приведенный пример должен помочь в базовом сканировании.

...