Я использую fast-csv для чтения и преобразования строк в CSV в режиме реального времени. Я могу сделать эту работу единым процессом, но мне было интересно, есть ли способ использовать кластеры узлов для более быстрой обработки больших файлов CSV?
const csv = require('fast-csv');
const firstLookup = require('./data/firstLookup.json');
const secondLookup = require('./data/secondLookup.json');
let thisCount = 0;
csv.parseFile('my.csv',{ headers: true, delimiter:'|' })
.on('error', error => console.error(error))
.on('data', row => {
let lookupOne = firstLookup.find(el => el.file_name === row.file_name);
let lookupTwo = second.find(el => el.user_id === row.user_id)
let thisID = null;
if(lookupTwo){ thisName = lookupTwo.name}
console.log(row.file_name + ' | ' + firstLookup.id + ' | thisName: ' + thisName );
})
.on('end', rowCount => console.log(`Parsed ${rowCount} rows`));