WSO2SP Потоковый процессор, загрузка данных из MongoDB

Question

я пытаюсь загрузить данные из коллекции mongodb. Коллекция содержит более 10 миллионов документов, и я не могу найти способ ограничить количество документов, которые будут загружены SP.

Очевидно, WsoSO загрузил весь документ в память, что вызвало ошибку нехватки памяти Java.

Любое предложение, пожалуйста?

Спасибо

Answer 1

Спасибо Niveathika,

, если я выполняю запрос непосредственно в mongodb, его работа без проблем.

внутри WSO2 SP, я добавил (предел 1), чтобы ограничить результат.

как показано ниже:

из TestStream присоединиться к TestTable
выбрать *
Предел 1
в Outputstream;

У меня есть ошибки из памяти.

С уважением.

Answer 2

MongoDB не загрузит все данные в память. Это будет зависеть от вашего запроса на присоединение.

from TestStream join TestTable
select * 
into Outputstream;

Да, при этом будут загружены все данные, поскольку вы не ограничены тем, какие записи следует выбирать. Добавьте правильные условия и загрузите только необходимые записи.