NiFi - ExtractGrok с несколькими регулярными выражениями и сортировкой по разным выводам - PullRequest
Новая
       20

NiFi - ExtractGrok с несколькими регулярными выражениями и сортировкой по разным выводам

0 голосов
/ 10 июня 2018

У меня есть тема Kakfa, которая включает различные типы сообщений, отправляемых из разных источников.

Я бы хотел использовать процессор ExtractGrok для извлечения сообщения на основе шаблона регулярного выражения / grok.

Как настроить или запустить процессор с несколькими регулярными выражениями?

т.е. раздел Kafka содержит записи журнала INFO, WARNING и ERROR из разных приложений.

Я бы хотел отделить разныерегистрируйте сообщения об уровнях и помещайте их в HDFS.

1 Ответ

0 голосов
/ 11 июня 2018

Вместо использования процессора ExtrackGrok

Использование Процессора записи разделов в NiFi для разделения в качестве этого процессора

  1. Оценивает один или несколько RecordPath для каждой записи ввходящий FlowFile.
  2. Каждая запись затем группируется с другими «похожими записями».

  3. Настройка / включение служб контроллера

    RecordReader as GrokReader

    Запись записи как желаемый формат

Затем используйте процессор PutHDFS для сохранения потокового файла на основе атрибута loglevel.

Flow: 

1.ConsumeKafka processor
2.Partition Record
3.PutHDFS processor

См. эта ссылка описывает все шаги по настройке процессора PartitionRecord.

См. эта ссылка описывает, как динамически хранить разделыв каталогах HDFS с использованием процессора PutHDFS.

...