Apache NiFi GetMongoProcessor - непрерывно не генерирует потоковые файлы - PullRequest
0 голосов
/ 16 марта 2019

Мне удалось подключить NiFi к MongoDB с помощью процессора GetMongo.Я использую запрос, чтобы ограничить объем данных, возвращаемых из MongoDB, но это все еще миллионы записей.Я выполнил процессор GetMongo и ожидал, что когда запись будет прочитана из курсора mongo db, она будет пакетирована и в конечном итоге записана в файл потока.Этого не происходит.Записи поступают из MongoDB (на основе tcpdump и сетевого трафика), но потоковый файл не создается, пока результаты по-прежнему выбираются из курсора.

Просмотр состояния после 10 минут извлечения записей: enter image description here

Только для целей тестирования, когда я установил параметр limit для выборки только 100 записей, потокфайлы были выпущены.Но я не хочу только около 100 записей, я хочу, чтобы все записи соответствовали моему запросу.

Можно ли изменить настройки?

1 Ответ

0 голосов
/ 17 марта 2019

Запрос ограничивает процессор.Процессор обязуется выполнить запрос.Он не знает ни о каких ограничениях, которые вы ставите.

Вместо использования ограничения в вашем запросе (которое ограничивает конечный результат для каждого выполнения), я думаю, что использование Batch Size и Results Per FlowFile будет более подходящим для вас.

...