Получение данных из результатов с помощью ссылок на страницы - PullRequest
Новая
       55

Получение данных из результатов с помощью ссылок на страницы

0 голосов
/ 09 мая 2020

Привет, я пытаюсь получить названия компаний из результатов поиска Голландской торговой палаты на основе определенных названий улиц. Так, например, если я ищу kipstraat, это 5 страниц: 

https://www.kvk.nl/zoeken/handelsregister/?handelsnaam=&kvknummer=&straat=kipstraat&postcode=&huisnummer=&plaats=&hoofdvestiging=1&rechtspersoon=1&nevenvestiging=1&zoekvervallen=0&zoekuitgeschreven=0&start=0

И используйте этот код в консоли Chrome: 

// sleep time expects milliseconds
function sleep (time) {
  return new Promise((resolve) => setTimeout(resolve, time));
}

function get_handelsnamen(pl){
    handelsnamen = '';
    $('h3.handelsnaamHeader > a').each(function(pl) {
        handelsnamen += $( this ).html()+"\n";
    });
    handelsnamen += "\n";
    return handelsnamen;
}

pagination_links = $('ul > li.nav-new__item > button');
for (var pl = 0; pl < pagination_links.length; pl++) {
    get_handelsnamen(pl-1)

    sleep(500).then(() => {
        console.log([pl, get_handelsnamen(pl-1)])
        $('ul > li.nav-new__item > button')[pl-1].click()
    });

}

Консоль дает только пятую номер страницы, но с результатами первой страницы. Как я могу получить все имена со всех страниц? Я придумал цикл ссылок на страницы и использовал функцию сна / ожидания (потому что это требует через некоторое время после щелчка, чтобы результаты загрузились)

...