Apache NiFi - провенанс данных - PullRequest
Новая
       2

Apache NiFi - провенанс данных

0 голосов
/ 21 мая 2019

У меня есть вопрос относительно опции Data Provenance, предоставленной Apache NiFi.

Опция поиска, представленная на странице «Провенанс данных», имеет опции для поиска на основе EventType, FlowFileId и т. Д. Обычно с несколькими в файле потока там могут быть записи, и в большинстве случаев мы будем заинтересованы в поиске по определенному значению (например, по идентификатору события, который является частью данных).

Поддерживает ли это происхождение данных?

Или я неправильно понял.

1 Ответ

2 голосов
/ 21 мая 2019

Я так не думаю, используя Поиск данных о происхождении , мы можем искать только на уровне flowfile attribute, а не на flowfile content(data).

  • Мы не можем изменить параметры, включенные в диалоговое окно поиска происхождения данных.

Прочееспособы фильтрации содержимого потокового файла:

  • Для запроса на уровне данных потокового файла нам необходимо использовать QueryRecord процессор

    (или)

  • Нам нужно извлечь данные из файла потока и сохранить его как атрибут для файла потока, используя RouteOnAttribute*Для процессоров 1039 * .. и т. Д. Мы можем сделать фильтрацию только требуемых потоковых файлов.

  • в этом методе каждый потоковый файл должен иметь только одну запись.

    (или)

  • Используя процессор RouteOnContent (or) RouteText, см. эту ссылку.

...