Есть ли в ts / js обходчик каталогов, использующий асинхронный итератор? - PullRequest
0 голосов
/ 24 мая 2019

Я нашел много ходящих по npm, но ни один из них не использует асинхронный итератор.Большинство из них используют либо обратный вызов, либо обещание, приводящее к утечкам памяти в огромных каталогах.

Существует ли какая-либо недавняя библиотека, использующая следующий шаблон:

async function* walk(dirPath) {
    // some magic…
    yield filePath;
}

Чтобы затем использовать ее следующим образом:

for await (const filePath of walk('/dir/path')) {
    console.log('file path', filePath);
}

1 Ответ

0 голосов
/ 25 мая 2019

Хорошо, я просто сделал этот ходунки, используя синхронный readdir, он очень быстрый и эффективно использует память, я перечислил 2,5 миллиона записей примерно за 3 минуты без утечки памяти.

import path from 'path';
import fs, {Dirent} from 'fs';

function* walk(path:string):IterableIterator<string> {

    const entries:Dirent[] = fs.readdirSync(path, {withFileTypes: true});

    for (const entry of entries) {
        const entryPath:() => string = () => `${path}/${entry.name}`;

        if (entry.isFile()) {
            yield entryPath();
        }

        if (entry.isDirectory()) {
            yield* walk(entryPath());
        }
    }
}

Пример использования:

for (const path of walk(directoryPath)) {
    console.log(path);
}
...