Вы можете архивировать это используя потоки.
Выбранная вами библиотека line-by-line
поддерживает их, поэтому вам нужно только сделать так:
- создать читаемый поток (сформировать файл в файловой системе или из ресурса онлайн через http)
- передать поток в вашу библиотеку и прослушать события
Это работает, обратите внимание, что вам нужно http
или https
в зависимости от вашего URL, мой пример: https
const http = require('https');
const LineByLineReader = require('line-by-line')
const options = {
host: 'stackoverflow.com',
path: '/questions/54251676/how-to-read-file-by-url-in-node-js',
method: 'GET',
};
const req = http.request(options, (res) => {
res.setEncoding('utf8');
lr = new LineByLineReader(res);
lr.on('error', function (err) {
console.log('err', err);
});
lr.on('line', function (line) {
console.log('line', line);
});
lr.on('end', function () {
console.log('end');
});
});
req.on('error', (e) => {
console.log('problem with request', e);
req.abort();
});
req.end();