Как упорядочить данные по данным в процессоре NIFI QueryDataBaseTable - PullRequest
Новая
       1

Как упорядочить данные по данным в процессоре NIFI QueryDataBaseTable

0 голосов
/ 18 декабря 2018

Как гарантировать последовательность данных каждый раз при получении дельта-таблицы процессором NiFi QueryDataBaseTable.В таблице есть инкрементное поле с именем "SEQNUM".И установите «Столбцы максимального значения» с помощью «SEQNUM» в процессоре QueryDataBaseTable.Есть ли какой-либо способ заказа путем выборки дельта-таблицы?

1 Ответ

0 голосов
/ 18 декабря 2018

Как только вы получите файл потока результатов от QueryDatabaseTable процессора

  • Затем используйте процессор QueryRecord и добавьте новый SQL-запрос с предложением order by.

  • Используя процессор QueryRecord, мы гарантируем, что order of seqnum in each flowfile расположен либо asc/desc.

  • если у вас больше one flowfile в результате QueryDatabaseTable, то с помощью процессора MergeRecord объедините потоковые файлы в один, затем подключите соединение merged к процессору QueryRecord для упорядочения данных в потоковом файле (но это не оптимальновместо NiFi рассмотрим Hive для такого рода тяжелых грузов).

См. это и это ссылок для более подробной информации о процессоре QueryRecord.

...