Записать объект json в csv из функции Осмос - PullRequest
Новая
       30

Записать объект json в csv из функции Осмос

1 голос
/ 16 апреля 2019

Я использую инструмент node.js Osmosis для извлечения группы данных в виде массива объектов json

Природа функций Osmosis заключается в том, что массив существует только в рамках функции,поэтому мне нужно записать файл внутри функции, прежде чем он прекратит работу и удалит файл json.

Вот мой код, извлекающий данные: 

    'use strict';
const osmosis = require('osmosis');
const fs = require('fs');
const converter = require('json2csv');
var stringify = require('csv-stringify');

function getOpenGraphMeta() {
  return new Promise((resolve, reject) => {
    let response;

    osmosis 

    .get('https://www.winepeople.com.au/wines/Dry-Red/_/N-1z13zte')
    .find('.product-row.product-bottle')
    .set({
      title: "h2.wine-title",
      headline: "h3.wine-headline",
      text: "p.wine-text"
    })
    .data(res => response = res)
    .error(err => reject(err))
    .done(() => resolve(response));
  });
}

getOpenGraphMeta().then(res => {
  console.log(res);
});


function getHomePageTrending() {
  return new Promise((resolve, reject) => {
  let response = [];   
  let stringToReplaceComas = '!!!!';

    osmosis 

      .get('https://www.winepeople.com.au/wines/Dry-Red/_/N-1z13zte')
      .paginate('#search > div.content.col-xs-12.col-md-9.wine-search-results.search-page > div:nth-child(7) > div > nav > ul > li:nth-child(5) > a', 2)
      .find('.product-row.product-bottle')
      .set({
        title: 'h2.wine-title',
        headline: 'h3.wine-headline',
        text: 'p.wine-text',
        RRP: 'label.product-list-price',
        VPP: 'h2.vpp-price',
        TwelveBottle: 'label.product-price',
        SixBottle: '#js-search-price > div:nth-child(2) > label > b',
      })
      .find('.row.wine-attributes')
      .set({
        Country: '//*[@id="search"]/div[2]/div[6]/div[3]/div/div/div[2]/div[2]/div[1]/text()'
      })
      .data(res => response.push(res))
      .error(err => reject(err))
      .done(() => resolve(response));


  });
}

getHomePageTrending().then(res => {
  console.log(res);
});

Как я могу тогдазаписать массив result[] объектов json в csv на диске?Или даже просто файл JSON, который я могу затем преобразовать с помощью CLT?На самом деле достаточно любого метода записи массива json на диск.

1 Ответ

1 голос
/ 16 апреля 2019

Я не думаю, что вам нужно csv-stringify для вашей работы. 

getOpenGraphMeta().then(res => {
  var jsonstrMinified = JSON.stringify(res); //unformatted
  var jsonstr = JSON.stringify(res, null, 2);  //formatted
  fs.writeFileSync('/path/to/file-on-fisk.json', jsonstr)

  var fields = ['title', 'headline', 'text'];
  var parser = new converter.Parser({ fields });
  var csvstr = parser.parse(res);
  fs.writeFileSync('/path/to/file-on-fisk.csv', csvstr));
})
...