ELK чтение и хранение журналов log4j - PullRequest
Новая
       17

ELK чтение и хранение журналов log4j

0 голосов
/ 28 июня 2018

У нас около 50 серверов, с которых мы получаем log4j. эта папка, в которой log4j записывает, мы были смонтированы на машине, где у нас есть Logstash, который помещает эти журналы в Elasticsearch. Он создает индекс в Elasticsearch с именем logstash-2018.06.25, где хранит всю информацию журнала здесь, в этой таблице. Теперь мне нужно удалить старые журналы, я прочитал, что в Интернете удаление с запросом не будет хорошим способом, скорее, мы должны удалить его с помощью CURATOR (Elasticsearch). Я прочитал, что куратор может удалить весь индекс. Как я могу настроить мой logstash, чтобы он создавал индекс на основе даты.

Таким образом, он создаст индекс / таблицу на основе дня. Таким образом, индекс 25 июня 2018 года будет создан 25 июня 2018 года. Индекс Similary 26 июня 2018 года будет создан 26 июня 2018 года.

Таким образом, я смогу удалить индекс для более старого файла, используя этот подход, я смогу получить более высокую производительность эластичного поиска.

Чтобы сделать это, как настроить мой logstash так, чтобы я мог получить это.

1 Ответ

0 голосов
/ 28 июня 2018

В плагине вывода Flexiblesearch вы можете настроить имя индекса следующим образом: 

output {
    elasticsearch {
        ...
        index => "logstash-%{+YYYY.MM.dd}"
        ...
    }
}
...