Почему QueryDatabaseTable выполняет полную выборку запроса вместо использования максимального значения столбца для извлечения данных из Oracle в Apache Nifi?

Question

Я использую процессор QueryDatabaseTable, чтобы выполнить пакетное обновление Bigquery. Oracle Таблица базы данных продолжает увеличиваться со скоростью 5 новых строк в минуту.

Поток: QueryDatabaseTable -> ConvertAvroToJson -> PutBigQueryBatchUpdate

Я запустил этот поток с 10-минутный график выполнения запроса дает около 2000 строк.

QueryDatabaseTable Я изменил конфигурацию процессора:

Table Name, Additional WHERE clause, Maximum-value Columns.

QueryDatabaseTable допускается извлекать только после максимального значения столбца, видимого в «Просмотреть состояние». Но моя установка просто возвращает весь результат для запроса.

После каждого запроса максимальное значение столбца обновляется до последнего максимального значения.

Максимальное значение столбца содержит дату.

Я также попытался запустить после очистки состояния и без значений Maximum-value Columns пусто, тот же результат.

Чего мне не хватает?

Дополнительная информация: QueryDatabaseTable config также есть следующий раздел, который, я думаю, связан с этой проблемой,

Transaction Isolation Level : No value set

Answer 1

QueryDatebaseTable не сработало, если я дал только имя таблицы.

Удаление свойства WHERE clause и создание Custom query заставили процессор работать как положено.