в нашем проекте мы загружаем данные из одной базы данных (oracle) в другую базу данных (oracle) и запускаем для нее некоторую аналитику на уровне пакета.
На данный момент это выполняется с помощью заданий pl / sql, где мы собираем данные за 3 года в целевую базу данных.
У меня есть задача автоматизировать поток с помощью APache nifi ..
информация о кластере:
1. APache кластер из 5 узлов
2. все программное обеспечение с открытым исходным кодом.
Я попытался создать поток, в котором я использую процессор queryDatabaseTable -> putDatabaseRecord. но, насколько мне известно, queryDatabaseTable выводит формат avro ..
Я прошу предложить мне, как преобразовать и какой должна быть последовательность процессоров, также мне нужно обрабатывать инкрементальные нагрузки / изменение сбора данных. любезно предлагаю.
заранее спасибо :)