NodeJS MongoDb - программный экспорт больших данных - PullRequest
Новая
       17

NodeJS MongoDb - программный экспорт больших данных

0 голосов
/ 11 июля 2020

У меня есть Rest API.

Одна из моих конечных точек должна создать JSON Экспорт из моей базы данных.

Моя база данных (~ 2M записей).

Ниже моих запросов: 

json.aggregate([
        {$sample: {size: limit}}, 
        {$project: {_id: 0, whenUpdated: 0}},
        {$match: {registered:true}}
    ]).toArray((error, collections) => {

Я пытаюсь создать случайный экспорт без какого-либо поля.

Мой лимит может быть примерно 250к. Каждая запись представляет собой комплекс json.

Моя проблема - тайм-аут запроса. Что-то вроде 60-х. Я не могу сгенерировать свой экспорт достаточно быстро.

Я пробовал mongoexport, но у меня нет случайных записей.

Есть ли у вас идея для экспорта больших случайных данных в json или csv?

Спасибо

...