Невозможно очистить следующую веб-страницу после нажатия - PullRequest
Новая
       21

Невозможно очистить следующую веб-страницу после нажатия

1 голос
/ 11 апреля 2019

Я пытаюсь написать скрипт через phantomjs, чтобы очистить таблицу, разделенную на разные страницы (в настоящее время две, но может быть более или менее в будущем) веб-сайта.

Мне удалось создать два htmlвыходы с содержанием, которое мне нужно, однако получаемый результат всегда является первой таблицей, а не второй.Я попытался включить время ожидания для загрузки страницы, но она не работает.Я проверил нажатие следующей кнопки на консоли Chrome, и она работает.Не уверен, что все еще не хватает ... 

// Step 1: Open web page
var page = require('webpage').create();
var fs = require('fs');
function onPageReady() {
page.open('https://adb.taleo.net/careersection/1/jobsearch.ftl#');
phantom.waitFor(function() {return !page.loading;});

// Step 2: Scrape first table
var htmlContent = page.evaluate(function() {
    return document.documentElement.outerHTML;});
fs.write('C://MY_PATH' + '/outputadb.html', 
htmlContent,'w')

// Step 3: Click on button and wait for it to show
page.evaluate(function() { $("a#next").click(); });
phantom.waitFor(function() {
    return page.evaluate(function() {return $(".result-list- 
button").is(":visible");});
});
var htmlContent2 = page.evaluate(function() {
    return document.documentElement.outerHTML;});
fs.write('C://MY_PATH' + 
 '/outputadb2.html', htmlContent2,'w')
//console.log('READY!');
 phantom.exit();
}

phantom.waitFor = function(callback) {
  do {
   // Clear the event queue while waiting.
   // This can be accomplished using page.sendEvent()
   this.page.sendEvent('mousemove');
  } while (!callback());
 }

 onPageReady();

Следуя советам, которые я пытался использовать кукловод.Однако здесь ниже моей попытки, я получаю обещание объекта в качестве вывода вместо исходного кода HTML.Есть идеи почему? 

const puppeteer = require('puppeteer');
const fs = require('fs');

(async function main() {

try {
const browser = await puppeteer.launch({headless: true});
const page = await browser.newPage();
page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36')
await page.goto('https://adb.taleo.net/careersection/2/jobsearch.ftl#', { 
waitUntil: "networkidle2" });
await page.waitFor(1 * 1000);

const htmlContent =  page.evaluate(() => {
return document.documentElement.innerHTML})
body.innerHTML, bodyHandle);
console.log(htmlContent);
fs.writeFileSync("out.html", htmlContent);

await browser.close();
} catch (e) {
    console.log('our error',e)
}

})();

1 Ответ

0 голосов
/ 13 апреля 2019

Относительно вашего кода кукловода: вам нужно await все операции, которые работают с кукловодом, например 

const htmlContent = await page.evaluate()
...