Каково ограничение на количество служб контроллера соединений с базой данных, которые можно настроить для одного экземпляра Apache NiFi?

Question

Я использую службу контроллера DBCPConnectionPoolLookup с потенциально очень большим количеством баз данных - порядка 100 с - сконфигурированными с DBCPConnectionPool службами контроллера. Все эти DBCPConnectionPool настроены на попадание в другую базу данных, возможно, с другими учетными данными на одном и том же сервере или очень небольшом количестве серверов - порядка 1 с.

Каковы ограничивающие факторы, которые могут потребовать установки дополнительных экземпляров NiFi, возможно, в другой системе (физической или виртуальной)? Похоже, что NiFi будет использовать пул соединений и, возможно, закрывать соединения, которые не использовались «недавно», или я предполагаю, что это может иметь глобальный лимит соединений, управляющий этим.

Кажется, что количество настроенных DBCPConnectionPool сервисов не ограничено, но должно быть практическим ограничением, основанным на аппаратных ресурсах. Я не совсем уверен во всех факторах, которые я должен включить в этот расчет.

Если не считать полевых испытаний, как я могу оценить ограничение на количество баз данных, которое может обрабатывать один экземпляр NiFi?

Answer 1

NiFi использует Apache DBCP для создания пула соединений, я думаю, что ограничения связаны с этим и с доступной кучей JVM и т. Д. Последние версии NiFi могут устанавливать различные определяемые пользователем свойства, которые передаются к источнику данных, созданному с использованием параметров, описанных здесь .