NodeJS Cluster для обработки файла CSV - PullRequest
0 голосов
/ 07 октября 2019

Я использую fast-csv для чтения и преобразования строк в CSV в режиме реального времени. Я могу сделать эту работу единым процессом, но мне было интересно, есть ли способ использовать кластеры узлов для более быстрой обработки больших файлов CSV?

const csv = require('fast-csv');
const firstLookup = require('./data/firstLookup.json'); 
const secondLookup = require('./data/secondLookup.json');
let thisCount = 0;
csv.parseFile('my.csv',{ headers: true, delimiter:'|' })
    .on('error', error => console.error(error))
    .on('data', row => {
      let lookupOne = firstLookup.find(el => el.file_name === row.file_name);
      let lookupTwo = second.find(el => el.user_id === row.user_id)
      let thisID = null;
      if(lookupTwo){ thisName = lookupTwo.name}
      console.log(row.file_name + ' | ' + firstLookup.id + ' | thisName: ' + thisName );
    })
    .on('end', rowCount => console.log(`Parsed ${rowCount} rows`));
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...