Как предотвратить добавление старого журнала из filebeat в logstash? - PullRequest
Новая
       23

Как предотвратить добавление старого журнала из filebeat в logstash?

0 голосов
/ 09 января 2019

Я использую filebeat для получения журналов с удаленного сервера и отправляю их в logstash, чтобы все работало нормально. Но когда новые журналы добавляются в исходный файл журнала, так что filebeat читает эти журналы с самого начала и отправляет их в logstash и logstash, добавляя все журналы со старыми журналами вasticsearch, даже если у нас уже есть эти старые журналы вasticsearch, поэтому здесь происходит повторение из бревен.

Так что мой вопрос в том, как отправить только новый добавленный журнал в logstash. Как только новые строки журнала добавляются в файл журнала, эти новые файлы должны быть отправлены в logstash наasticsearch.

Вот мой файл bebe.yml 

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/user/Documents/ELK/locals/*.log

вход logstash - это logstash-input.conf 

input {
  beats {
    port => 5044
  }
}

Ответы [ 2 ]

0 голосов
/ 10 января 2019

Полагаю, вы делаете ту же ошибку, что и я, когда тестировали бит файла несколько месяцев назад (используя редактор vi для ручного обновления файла журнала / текста ). Когда вы редактируете файл вручную, используя редактор vi, он создает новый файл на диске с новыми метаданными. Filebeat определяет состояние файла, используя его метаданные, а не текст. Следовательно, перезагружает полный файл журнала.

Если это так, попробуйте добавить его в файл следующим образом. эхо "что-то" >> /path/to/file.txt

Подробнее: Читать

0 голосов
/ 09 января 2019

Кажется, где-то есть проблема. Обычно Filebeat достаточно умен, чтобы сохранить смещение, то есть он отправляет только те строки журнала, которые были добавлены с момента последнего сканирования.

Есть несколько настроек, которые могут помешать этому, пожалуйста, прочтите их: - ignore_older - close_inactive (https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-log.html#filebeat-input-log-close-inactive) - close_timeout (https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-log.html#filebeat-input-log-close-timeout)

Пожалуйста, опубликуйте свой полный файл filebeat.yml, а также какую систему и какие типы журналов вы пытаетесь собрать.

...