Данные рабочего процесса неожиданно исчезли в Apache Nifi - PullRequest
0 голосов
/ 18 февраля 2019

Мой поток работает правильно, но через час данные о потоке исчезают.Я уменьшил и увеличил размер памяти кучи с 100 Мб до 8 г, это не сработало, мое использование процессора увеличилось до 500%, а затем данные моего потока исчезли.у кого-нибудь есть решение?

моя конфигурация системы:
macOs high sierra
процессор 2,3 ГГц Intel Core i7
память 16 ГБ 1600 МГц DDR3

это журналмой поток введите описание изображения здесь

это мой поток после потери данных и удаления контента введите описание изображения здесь

1 Ответ

0 голосов
/ 18 февраля 2019

Я надеюсь, что это объяснение этих основных концепций устранит путаницу.

О NiFi

NiFi - это инструмент управления потоками, у вас могут быть процессоры для приема, обработки и сбора данных.

Как правило, сообщение приходит и уходит, когда NiFi завершает работу.

О статистике

Каждый процессор будет отслеживать входящие и исходящие сообщения.Эти сообщения некоторое время отслеживаются на процессоре, а затем «забываются».Я считаю, что период времени составляет 5 минут.

Об очередях

Вы можете проверить очередь, чтобы увидеть в ней сообщения, если нет сообщений, которые вы, конечно, не можете проверить.Возможно, вас заинтересует происхождение.

О происхождении

Вы можете проверить происхождение сообщения в очереди, чтобы увидеть, как оно развивалось (контент, метки времени) по мере прохождения процессорами.Я лично работал в основном с NiFi в HDF, поэтому я не уверен, доступен ли этот параметр, когда вы запускаете NiFi без платформы вокруг него.

Обнаружение проблем в NiFi

Конечно, естьМогут быть исключения, но если NiFi не сможет получать сообщения, я ожидаю, что они застрянут в очереди.И если NiFi обрабатывает их, но терпит неудачу, вы ожидаете, что красные квадраты начнут появляться в пользовательском интерфейсе.

Так что, как правило, довольно легко определить, что-то не так в NiFi.

...