Не удается загрузить все содержимое страницы с фантомом - PullRequest
Новая
       17

Не удается загрузить все содержимое страницы с фантомом

1 голос
/ 03 апреля 2019

Я просто хотел, чтобы вы знали, что я попробовал решение с помощью setTimeout (перед тем, как пометить мой вопрос как DUPLICATE)

Проблема связана с веб-сайтом, который я очищаю. Поэтому, когда я использовал phantomJs, этотолько поцарапать первую часть веб-страницы, а не всю страницу

Я даже попробовал другой инструмент для создания веб-страниц (APIFY), и он возвращает то же содержимое

Это страница, которую яочистка страницы, которую я хочу очистить

И вот код, который я использую: 

var phantom = require("phantom");
    (async function() {
        const instance = await phantom.create();
        const page = await instance.createPage();
        await page.on("onResourceRequested", function(requestData) {
          console.info("Requesting", requestData.url);
        });

        const status = await page.open(
          "https://www.articles-epresse.fr/media/894eab75-c642-46a2-a1ba-b240c278ebbc?"
        );

        const content = await page.property("content");
        console.log(content);
        var $ = cheerio.load(content);
        console.log($("#article319670").attr("href")); // returns undefined 
    //because phantomJs is not reaching the end of the page
        await instance.exit();
      })();

PS: я использовал фантом, потому что код источникастраница не совпадает с "проверить элемент"

Спасибо

...