Кукловод не в состоянии очистить динамически сгенерированный контент

Question

У меня есть следующие элементы, из которых я хочу извлечь значения долготы и широты:

<span itemprop="geo" itemscope="" itemtype="http://schema.org/GeoCoordinates"> <meta itemprop="latitude" content="-25.5170846"> <meta itemprop="longitude" content="-49.1831061"> </span>.

Это код, который отображается при доступе через Google Chrome, но когда япопытайтесь очистить это, используя Puppeteer, я получаю следующее: <script type="jsv/71_"></script>.Я думаю, что это должен быть какой-то динамический контент.Есть ли способ визуализировать этот тег и извлечь содержимое из этого метатега?Я попытался использовать:

await page.waitForSelector('[itemprop=geo]');

, но получил ошибку тайм-аута в ожидании селектора.

`const page = await browser.newPage();

// await page.setViewport({
//   width: 1920,
//   height: 1080
// });

await page.goto(url, {
  waitUntil: 'networkidle2',
  timeout: 9000000
});
console.log(`Capturando dados da página ${url}`);
await page.waitForSelector('[itemprop=geo]');


const imoveisOnPage = await page.evaluate(() => 
  Array.from(document.querySelectorAll("article.minificha")).map(ficha => {
    const site = document.location.hostname;
    const elementoTitulo = ficha.querySelector('[itemprop="streetAddress"]');
    const elementoCidade = ficha.querySelector('[itemprop="addressLocality"]');
    const elementoEstado = ficha.querySelector('[itemprop="addressRegion"]');
    const elementoBairro = ficha.querySelector('h2 strong');
    const elementoQuartos = ficha.querySelector('li.icone-quartos');//.textContent.trim();
    const elementoPreco = ficha.querySelector('.preco strong');
    const elementoArea = ficha.querySelector('li.icone-area');
    const elementoDescricao = ficha.querySelector('.endereco p');
    const elementoAnuncioUrl = ficha.querySelector('figure > div > a');
    const elementoAnunciante = ficha.querySelector('.anunciante span');
    const elementoLatitude = ficha.querySelector('[itemprop=geo]').children[0].attributes["content"].nodeValue
    const elementoLongitude = ficha.querySelector('[itemprop=geo]').children[1].attributes["content"].nodeValue
    const elementoId = ficha.getAttribute('data-id');


    const resumo = JSON.parse(ficha.getAttribute('data-clickstream'));
    const fotosElement = ficha.querySelector('.carrossel-container').getAttribute('data-fotos');
    const fotosArray = fotosElement.replace('[', '').replace(']', '').split(',');

    let bairro = (elementoBairro !== null) ? elementoBairro.textContent.trim() : resumo.address[3];
    let quartos = (elementoQuartos !== null) ? elementoQuartos.textContent.trim() : resumo.bedrooms;
    let preco = (elementoPreco !== null) ? elementoPreco.textContent.trim() : resumo.salePrice;
    let logradouro = (elementoTitulo !== null) ? elementoTitulo.textContent.trim() : resumo.address[4];
    let cidade = (elementoCidade !== null) ? elementoCidade.textContent.trim() : resumo.address[2];
    let estado = (elementoEstado !== null) ? elementoEstado.textContent.trim() : resumo.address[1];
    let area = (elementoArea !== null) ? elementoArea.textContent.trim() : resumo.areas[0];
    let cep = resumo.address[6] || '';
    let numero = resumo.address[5] || '';
    let descricao = (elementoDescricao !== null) ? elementoDescricao.textContent.trim() : '';
    let fotos = fotosArray;
    let anuncioUrl = (elementoAnuncioUrl !== null) ? elementoAnuncioUrl.href : '';
    let tipo = resumo.unitTypes[0];
    let anunciante = elementoAnunciante.textContent.trim();
    let titulo = `${resumo.unitTypes[0]} ${cidade} - ${estado}`;
    let longitude = (elementoLongitude !== null) ? elementoLongitude.content : '';
    let latitude = (elementoLatitude !== null) ? elementoLatitude.content : '';

    let location = {
      type: 'Point',
      coordinates: [longitude, latitude]
    }

    return {
      titulo, tipo, quartos, preco, logradouro, numero,
      cidade, bairro, estado, area, cep, descricao,
      fotos, resumo, site, anuncioUrl, location
    }
  })

);
await page.close();`

Answer 1

Похоже, что внутри <span itemprop="geo">...</span> есть тег сценария. Кроме того, вы хотите подождать, пока метатеги не появятся.

Код выглядит так:

// Wait for meta tags to appear
await page.waitForSelector('[itemprop=geo] meta');

// query both meta elements
const metaElements = ficha.querySelectorAll('[itemprop=geo] meta');

const elementoLatitude = metaElements[0].attributes["content"].nodeValue;
const elementoLongitude = metaElements[1].attributes["content"].nodeValue;