В настоящее время я использую NiFi для чтения журналов BRO IDS с помощью плагина JSON Streaming.Плагин записывает вывод в формате JSON, который вращает свои файлы с 15-минутными интервалами в формате «json_streaming_type. #. Log», где текущий файл всегда «json_streaming_typex.log», а файлы вращаются по возрастанию до максимального предела (поэтому 1 становится 2и 2 становится 3 и так далее).
Пример:
json_streaming_typex.log
json_streaming_typex.1.log
json_streaming_typex.2.log
Мой процесс TailFile настроен следующим образом:
* Примечание: процессор настроен на чтение каждые 5 секунд.
Это работает некоторое время, но в конечном итоге возникают две проблемы.Во-первых, состояние постоянно увеличивается и никогда не очищается (я изначально предполагал, что это связано с тем, что максимальный возраст установлен равным 24 часам), а во-вторых, примерно через час состояние начинает содержать записи, представляющие регулярное выражение.используется для перечисления файлов для хвостов.В результате происходит последнее дублирование событий.
Я не уверен, что происходит или почему, или что я сделал неправильно.Честно говоря, я плохо понимаю, как должна работать конфигурация процессора TailFile при работе с несколькими вращающимися файлами.Документация немного сбивает с толку, особенно потому, что в ней упоминается атрибут «Rolling стратегии», который больше не существует.
Сегодня я перенастроил настройку, чтобы изменить формат имени скользящего файла на «json_streaming_typex.log. #"больше соответствовать приведенным примерам, хотя это не изменило симптомы / проблемы / проблемы.Что-то сработало, вроде как настройка Частоты поиска до 1 минуты и Максимального срока действия до 10 минут, в дополнение к сокращению максимального количества вращаемых файлов с четырех до одного.Единственная оставшаяся проблема - файл состояний постоянно растет, и я не знаю почему.Обратите внимание, что вращение также было скорректировано с 15 минут до 5 минут, чтобы выровнять его с меньшими интервалами.
Я стремлюсь понять, как TailFile управляет несколькими прокручивающимися файлами и / или почему моя установка не работает должным образом.
Примечание. Когда состояние превышает 500 записей и одна попытка фильтрации пользовательского интерфейса, кажется, останавливается.