функция scrapeAndClick в APIFY - PullRequest
Новая
       28

функция scrapeAndClick в APIFY

1 голос
/ 09 марта 2020

У меня следующая проблема в APIFY. Я хотел бы написать функцию, которая сохраняет HTML тело текущей страницы и затем нажимает на следующую страницу, сохраняет HTML тело и c.

Я пробовал это: 

var result = []; 
    var scrapeAndClick = function() {   
        $("div.ui-paginator.ui-paginator-top.ui-widget-header.ui-corner-top").each(function() {

                result.push(
                $(this).html()               
                );


            //klikej na dalsi stranky

            var nextButton = $('a.ui-paginator-next.ui-state-default.ui-corner-all');

            console.log('Click next button');
            nextButton.click().delay(4000)


            });    

    };


    scrapeAndClick();

В консоли Google Chrome возвращается только тело HTML первой страницы. APIFY ничего не возвращает.

Может кто-нибудь увидеть, в чем проблема?

Если кто-то интересуется всей функцией Page: 

async function pageFunction(context) {
    const {  log } = context;

    const searchSelector = 'div.ui-panel-content.ui-widget-content > button';

    //vyber "Gemeenschappelijk Landbouw Beleid" z Kies subsidie: 
    const subsidySelector = $("span.column2 > select.jsTruncate").val("10000");
    log.info('Select CAP ')
    subsidySelector    

    //klikni na Zoek
    log.info('Click search.')
    $(searchSelector).eq(0).click()



    //loopujeme dalsi stranky a ukladame html body



    var result = []; 
    var scrapeAndClick = function() {   
        $("div.ui-paginator.ui-paginator-top.ui-widget-header.ui-corner-top").each(function() {

                result.push(
                $(this).html()               
                );


            //klikej na dalsi stranky

            var nextButton = $('a.ui-paginator-next.ui-state-default.ui-corner-all');

            console.log('Click next button');
            nextButton.click().delay(4000)


            });    

    };


    scrapeAndClick();



    return result;
}

StartURL это: https://mijn.rvo.nl/europese-subsidies-2017

На форуме APIFY я нашел старый вопрос (https://forum.apify.com/t/clickable-link-that-doesnt-change-the-url/361/3), однако, похоже, это было сделано на старой версии сканера APIFY.

Большое спасибо за любую помощь!

...