Apache NiFi процессор хвостовых файлов не работает с большими файлами журналов - PullRequest
0 голосов
/ 23 сентября 2019

Я использую Apache NiFi, чтобы загружать журнал приложений (один файл журнала) и публиковать его в Apache Kafka.Упомянутое приложение генерирует большое количество журналов (приблизительно 50 ГБ в день).Мне нужно было, чтобы прием пищи был почти живым, поэтому я использовал процессор tailfile.Проблема заключается в том, что поток, читающий файл, застревает и в течение нескольких часов просто активен, ничего не делая (ну, не ничего, но не генерируя потоковые файлы).затем внезапно генерируется большой файл потока xGB, поэтому он не очень близок к жизни ...

Любая помощь будет принята с благодарностью.

С наилучшими пожеланиями

...