Apache Nifi - потоковые файлы застряли в очереди

Question

Файлы потока помещаются в очередь (балансировка нагрузки по атрибуту) и не считываются следующим процессором в нисходящем направлении (MergeRecord с CSVReader и CSVRecordSetWriter).Из пользовательского интерфейса Nifi видно, что потоковые файлы находятся в очереди, но при попытке отобразить очередь появляется сообщение «В очереди нет потоковых файлов».Попытка опустошить очередь также дает точное сообщение.Nifi Logs не имеет никаких исключений, связанных с процессором.В очереди около 80 потоковых файлов.

Я пробовал перечисленные ниже действия, но все тщетно:

• Перезапуск нисходящего и восходящего (ConvertRecord) процессора.
• Отключено и включено CSVReader и CSVRecordSetWriter.
• Отключено распределение нагрузки.
• Срок действия файла потока установлен на 3 сек.

Снимок экрана: Файл потока: Свойства MergeRecord: Служба CSVReader: CSVRecordSetWriter:

Answer 1

Мы настроили еще один новый кластер с версией 1.9 и перенесли все потоковые файлы из старого кластера в новый кластер, убедившись, что в других очередях нет никаких потоковых файлов, кроме зависшей очереди. Обновите старый кластер до версии 1.9 и посмотрите, будут ли решены эти проблемы без потери данных. Буду обновлять больше после активности.

Answer 2

Вероятно, это связано с удалением содержимого файла потока.Однако его запись все еще присутствует в реестре потоковых файлов.

если у вас есть настроенная конфигурация nifi, и если у вас нет интенсивного производственного потока, вы можете остановить свой поток nifi и удалить все в папках репозитория _ * (flowfile-repository, repository content и т. Д.) (При условии, что вывсе ваши каталоги смонтированы и никакая другая потеря данных не подвергается риску)

Дайте мне знать, если вам нужна дополнительная помощь