NiFi заблокирован / висит - PullRequest
       10

NiFi заблокирован / висит

0 голосов
/ 22 ноября 2018

Мы работаем с сервером NiFi 1.7.1, который берет файлы через 3 процессора GetFile и загружает их в облако.

Когда сервер запускается, он работает нормально и пропускает любые найденные файлы,Однако после нескольких дней работы кажется, что он остановился:

  • Все процессоры GetFile показывают 1 запущенный поток, но, похоже, они ничего не делают, даже если есть файлыприсутствует в их исходных каталогах.
  • Ничего не ожидается ни в одной очереди.
  • В журналах не отображаются сообщения.
  • Команда "top" показывает Java с использованием примерно 3% ЦП.и 21% мес.Это сервер с 4 процессорами и 8 ГБ памяти.
  • Если я попытаюсь остановить любые процессоры через веб-интерфейс, он перестанет отвечать на запросы.После перезагрузки страницы я получаю экран входа в систему, но после входа он зависает на анимации загрузки, не показывая схему потока.
  • Если я перезапускаю сервис NiFi, он внезапно работает нормально: он подхватит всеожидающих файлов и не оставляющих никаких потоков висящими (согласно веб-интерфейсу).Это продлится еще несколько дней ...

Что здесь происходит?Как я могу решить эту проблему?

Редактировать: Каждый из трех процессоров GetFile читает из одной папки, но все они отправляют свои файлы в одно и то же место.Они настроены на получение всех файлов (filepattern. *), Опрос каждые 10 секунд, минимальный возраст файла 1 минута, не сохраняют исходный файл.Я не трогал вкладку планирования, поэтому она просто по умолчанию.

...