Apache NIFI: восстановление после проблемы с хранилищем Flowfile - PullRequest
0 голосов
/ 20 мая 2019

В настоящее время я пытаюсь восстановить свои потоки из приведенного ниже исключения.

не удалось обработать сеанс из-за Невозможно обновить файл журнала /data/disk1/nifi/flowfile_repository/journals/90620570.journal, потому чтозаголовок еще не написан .;Процессор административно сдан в течение 1 секунды: java.lang.IllegalStateException: не удается обновить файл журнала /data/disk1/nifi/flowfile_repository/journals/90620570.journal, поскольку заголовок еще не написан.

У меня естья видел некоторые ответы на лучшие практики по обработке больших файлов в Nifi, но мой вопрос больше о том, как восстановиться после этого исключения.Мое наблюдение состоит в том, что, как только исключение замечено, оно начинает появляться в нескольких процессорах во всех потоках в нашем экземпляре nifi, как мы можем восстановить без перезапуска?

1 Ответ

1 голос
/ 20 мая 2019

Кажется, что ваш диск заполнен, что не позволяет процессорам обновлять или изменять данные.

Вы можете увеличить свой диск или удалить содержимое из своего хранилища nifi.

Сначала проверьте папку журналов. Если это папка журналов, занимающая место, вы можете напрямую сделать

rm -rf logs/*

иначе просто удалите все содержимое

rm -rf logs/* content_repository/* provenance_repository/* flowfile_repository/* database_repository/*

PS: удаление содержимого также приведет к удалению всех ваших данных на холсте, поэтому убедитесь, что вы не удаляете данные, которые невозможно воспроизвести.

Скорее всего, это должны быть бревна, которые должны поглощать пространство. Также проверьте интервал ротации логов!

Дайте мне знать, если вам понадобится дополнительная помощь!

...