Как получать ошибки из журналов nifi, относящихся к моему приложению, когда запущено несколько приложений nifi - PullRequest
1 голос
/ 30 марта 2019

У нас есть несколько командных nifi-приложений, работающих на одной и той же nifi-машине ... Есть ли способ зарегистрировать журналы, относящиеся к моему приложению? Также по умолчанию файл nifi-app.log трудно отследить, и на доске объявлений отображается сообщение об ошибке всего за 5 минут ... Как зафиксировать ошибки и отправить оповещение по почте в Nifi?

Пожалуйста, помогите мне пройти через это. Заранее спасибо!

Ответы [ 3 ]

2 голосов
/ 30 марта 2019

Есть несколько способов подойти к этому. Одним из них является маршрутизация отношений сбоев от процессоров к процессору PutEmail, который может отправлять оповещения об ошибках. Другой способ - использовать настраиваемую задачу создания отчетов для оповещения службы мониторинга, когда определенное количество потоковых файлов находится в очереди ошибок.

Наконец, мы слышали, что в многопользовательских средах анализ журналов затруднен. В то время как NiFi стремится уменьшить или полностью устранить необходимость визуальной проверки журналов, предоставляя функцию происхождения данных, в случае, если вам действительно нужно просматривать журналы, мы рекомендуем осуществлять поиск в журнале по идентификатору процессора, чтобы изолировать соответствующие сообщения. Вы также можете использовать сам NiFi для загрузки тех же журналов и выполнения анализа и фильтрации, если это необходимо. Будущие версии могут улучшить этот опыт.

1 голос
/ 30 марта 2019

Анализируя журнал nifi, вы можете отделить журналы, относящиеся к приложениям вашей команды, используя идентификатор группы процессоров и API Nifi Rest. Чтобы решить эту проблему, воспользуйтесь приведенной ниже ссылкой на шаблон nifi и коды python:

https://link.medium.com/L6IY1wTimV

0 голосов
/ 01 апреля 2019

Вы можете отправить все ошибки в группе процессоров одному и тому же процессору, это может быть обычный UpdateAttribute или пользовательский процессор, этот процессор собирается добавить путь и всю соответствующую информацию, а затем отправить его на общую ошибку/ Журналы потока, который собирается проверить информацию в потоке файла относительно ошибки, и примет решение отправлять или нет электронное письмо, кому и подобные вещи.
Используя этот подход, система сохраняет простоту ивнутри NiFi, так что вы не добавляете больше уровней сложности, и у вас будет только один процессор для управления ошибками на группу процессов.

Это способ управления ошибками в моей компании.

...