Как структурировать результаты успешной веб-очистки с помощью Apify и Puppeteer? - PullRequest
Новая
       102

Как структурировать результаты успешной веб-очистки с помощью Apify и Puppeteer?

1 голос
/ 01 марта 2020

Используя Apify и Puppeteer, я хочу очистить таблицу данных по следующему URL:

https://en.wikipedia.org/wiki/List_of_hedge_funds

Я хочу, чтобы результат был массивом объектов. Каждый элемент массива должен представлять каждую <tr> строку исходной таблицы источника данных и быть объектом JS со следующими свойствами. 

{ firmName, firmUrl, hq, hqUrl, aum, }

Где:

  • firmName - это .innerText() первого элемента <td> каждой строки.
  • firmUrl - это атрибут href первого элемента <td> каждой строки.
  • hq является . innerText() второго <td> элемента каждой строки.
  • hqUrl является href атрибутом второго <td> элемента каждой строки.
  • aum - это . innerText() третьего <td> элемента каждой строки.

В частности, например, я хотел бы видеть следующий объект, возвращенный мне.

То, что я хочу увидеть, вариант A: 
[{
  "url": "https://en.wikipedia.org/wiki/List_of_hedge_funds",
  "pageTitle": "List of hedge funds - Wikipedia",
  "links": [
    {
      firmName: "Bridgewater Associates",
      firmUrl: "/wiki/Bridgewater_Associates",
      hq: "Westport, Connecticut",
      hqUrl: "/wiki/Westport,_Connecticut",
      aum: "$132,050",
    }
    // ...x39 more times
  ]
}]

Или, альтернативно, объект может быть следующим (я не знаю, что возможно, это часть моего замешательства)

То, что я хочу увидеть, альтернатива B: 
[
  {
    "url": "https://en.wikipedia.org/wiki/List_of_hedge_funds",
    "pageTitle": "List of hedge funds - Wikipedia",
    "links": {
      firmName: "Bridgewater Associates",
      firmUrl: "/wiki/Bridgewater_Associates",
      hq: "Westport, Connecticut",
      hqUrl: "/wiki/Westport,_Connecticut",
      aum: "$132,050",
    },  
  },
  // ...x39 more times
]

Но вместо этого я действительно вижу следующий результат.

То, что я на самом деле вижу: 
[{
  "url": "https://en.wikipedia.org/wiki/List_of_hedge_funds",
  "pageTitle": "List of hedge funds - Wikipedia",
  "links": [
    "/wiki/Bridgewater_Associates",
    "/wiki/Westport,_Connecticut",
    "/wiki/Renaissance_Technologies",
    "/wiki/East_Setauket,_New_York",
    "/wiki/Man_Group",
    "/wiki/London",
    "/wiki/AQR_Capital_Management",
    "/wiki/Greenwich,_Connecticut",
    "/wiki/Two_Sigma_Investments",
    "/wiki/New_York_City,_New_York",
    "/wiki/Millennium_Management,_LLC",
    "/wiki/New_York_City,_New_York",
    "/wiki/Elliott_Management",
    "/wiki/New_York_City,_New_York",
    "/wiki/BlackRock",
    "/wiki/New_York_City,_New_York",
    "/wiki/Citadel_LLC",
    "/wiki/Chicago,_IL",
    "/wiki/Davidson_Kempner_Capital_Management",
    "/wiki/New_York_City,_New_York",
    "/wiki/Viking_Global_Investors",
    "/wiki/Greenwich,_Connecticut",
    "/wiki/Baupost_Group",
    "/wiki/Boston,_MA",
    "/wiki/D.E._Shaw_%26_Co.",
    "/wiki/New_York_City,_New_York",
    "/wiki/Farallon_Capital",
    "/wiki/San_Francisco,_CA",
    "/wiki/Marshall_Wace",
    "/wiki/London",
    "/wiki/The_Children%27s_Investment_Fund_Management",
    "/wiki/London",
    "/wiki/Wellington_Management_Company",
    "/wiki/Boston,_MA",
    "/wiki/Winton_Group",
    "/wiki/London",
    "/wiki/Capula_Investment_Management",
    "/wiki/London",
    "/wiki/York_Capital_Management",
    "/wiki/New_York_City,_NY"
  ]
}]

Я использую f использование кода как моей pageFunction.

pageFunction 
// The function accepts a single argument: the "context" object.
// For a complete list of its properties and functions,
// see https://apify.com/apify/web-scraper#page-function 
async function pageFunction( context ) {
    const url = 'https://en.wikipedia.org/wiki/List_of_hedge_funds';
    const TITLE_SELECTOR = 'title';
    const ANCHOR_SELECTOR = 'tr > td > a';
    const HREF_SELECTOR = 'href';

    // jQuery is handy for finding DOM elements and extracting data from them.
    //  To use it, make sure to enable the "Inject jQuery" option.
    const $ = context.jQuery;
    const pageTitle = $( TITLE_SELECTOR ).first().text();
    const anchorTag = $( ANCHOR_SELECTOR );
    const links = [];
    anchorTag.each((index, item,) => {
      const link = $(item).attr( HREF_SELECTOR );
      if( link ) links.push( link );
    });

    return {
      url: context.request.url,
      pageTitle,
      links,
    };
}

Как мне изменить свой код?

1 Ответ

2 голосов
/ 02 марта 2020

Выглядит хорошо, вам нужно изменить разбор данных из таблицы. Есть пример функции pageFunction, которая работает. 

// The function accepts a single argument: the "context" object.
// For a complete list of its properties and functions,
// see https://apify.com/apify/web-scraper#page-function 
async function pageFunction( context ) {
    const url = 'https://en.wikipedia.org/wiki/List_of_hedge_funds';
    const TITLE_SELECTOR = 'title';
    const ANCHOR_SELECTOR = 'tr > td > a';
    const LINE_SELECTOR = '.wikitable tr'
    const HREF_SELECTOR = 'href';

    // jQuery is handy for finding DOM elements and extracting data from them.
    //  To use it, make sure to enable the "Inject jQuery" option.
    const $ = context.jQuery;
    const pageTitle = $( TITLE_SELECTOR ).first().text();
    const anchorTag = $( ANCHOR_SELECTOR );
    const lines = $( LINE_SELECTOR );
    const links = [];
    lines.each((index, item) => {
        const columns = $(item).find('td');
        const link = {
          firmName: columns.eq(1).text().trim(),
          firmUrl: columns.eq(1).find('a').eq(0).attr('href'),
          hq: columns.eq(2).text().trim(),
          hqUrl: columns.eq(2).find('a').eq(0).attr('href'),
        }
        if (link.firmUrl) {
            links.push(link);
        }       
    });

    return {
      url: context.request.url,
      pageTitle,
      links,
    };
}
...