Apify crawler с более чем 2 активируемыми элементами - PullRequest
Новая
       14

Apify crawler с более чем 2 активируемыми элементами

0 голосов
/ 21 марта 2019

Я пытаюсь создать сканер apify, в котором есть несколько нажимаемых элементов. Первый щелчок - это разбиение на страницы, второй щелчок - просмотр каждого результата, третий - посещение раздела каждого результата для получения дополнительной информации. 

function pageFunction(context) {
    var $ = context.jQuery;
    if (context.request.label === 'category'|| context.request.label === 'detail') {
        context.skipLinks();

        var result = {
            item_name: $('name').text(),
            categories: $('.categories').text(),
            email: $('email').text(),
            kvk: $('kvk').text()
        };
        return result;
    } else {
        context.skipOutput();
    }
}

Первые 2 клика происходят, он разбивает на страницы и посещает результаты и извлекает первые 3 значения: item_name, categories and email

Четвертое значение: kvk не возвращается. Я думаю, что или третий щелчок не происходит, или код, который я использовал, имеет некоторые ошибки. Может кто-нибудь помочь мне исправить это?

1 Ответ

0 голосов
/ 21 марта 2019

Одной из проблем может быть context.skipLinks() функция, предотвращающая любые новые страницы в очереди.Кроме того, вы проверили все селекторы в консоли разработчика?Для отладки я бы посоветовал вам зарегистрировать содержимое страницы, чтобы вы знали, что она загружена.Во-первых, вам нужно найти источник проблемы.

С одной стороны, я бы посоветовал вам начать разработку - наш современный web-scraper .Платформа Crawler больше не поддерживается и в некоторых случаях может работать хуже.

...