Соскоб с помощью Apify

Question

Я пытаюсь очистить URL-адреса от https://en.wikipedia.org/wiki/List_of_hedge_funds

В частности, я пытаюсь использовать Apify, чтобы очистить эту страницу и вернуть список URL-адресов из тегов привязки, присутствующих в HTML. В моей консоли я ожидаю увидеть значение атрибута href одного или нескольких тегов привязки, существующих на целевой странице, в свойстве с именем myValue. Я также ожидаю увидеть заголовок страницы в свойстве под названием title. Вместо этого я просто вижу следующее свойство URL и его значение.

Мой актер Apify использует платформу Puppeteer. Поэтому я использую pageFunction , аналогично тому, как Puppeteer использует его .

Ниже приведен снимок экрана интерфейса Apify непосредственно перед его запуском.

Функция страницы

function pageFunction( context ) {
    // called on every page the crawler visits, use it to extract data from it
    var $ = context.jQuery;
    var result = {
        title: $('.wikitable').text,
        myValue: $('a[href]').text,
    };
    return result;
} 

Что я делаю не так?

Answer 1

Страница, кажется, загружена JavaScript, поэтому на самом деле я должен использовать асинхронный код.

Answer 2

В вашем коде есть опечатка, text - это функция, поэтому вам нужно добавить круглые скобки:

var result = {
    title: $('.wikitable').text(),
    myValue: $('a[href]').text(),
};

Но учтите, что это, вероятно, не будет соответствовать вашим ожиданиям - оно вернет текст всех согласованных элементов. Вам, вероятно, нужно использовать функцию jQuery's each() (https://api.jquery.com/jquery.each/) для итерации найденных элементов, pu sh некоторых значений из них в массив и возврата массива из функции страницы.