Повторяющиеся сообщения, созданные FileBeat - PullRequest
Новая
       8

Повторяющиеся сообщения, созданные FileBeat

0 голосов
/ 29 марта 2019

Я использую FileBeat для загрузки сообщений журнала в ElasticSearch через LogStash.Файлы журналов находятся на общем сетевом ресурсе Windows.FileBeat работает на компьютере с Linux, где общий ресурс Windows отображается через cifs.Проблема в том, что некоторые записи файла журнала дублируются.Что интересно, так это то, что дублированные записи создаются в моменты, разделенные по времени событием на несколько часов.В лог-файлах FileBeat и LogStash я не вижу ничего критического.Я знаю, что не рекомендуется загружать журналы с помощью FileBeat с сетевого ресурса.Говорят, что существует проблема с повторным использованием значений inode.Но я не вижу записей для одного файла с разными значениями inode в файле реестра FileBeat.В чем может быть причина дубликатов сообщений, созданных FileBeat?

Обновление .Вот мой filebeat.yml: 

filebeat.inputs:
- type: log
    - \\<host_name>\<folder>\*.<service_name>.*.2019*.log
    - \\<host_name>\<folder>\*.<service_name>.*.2019*.log...
  encoding: Windows-1251
  multiline.pattern: '^\d{4}-\d{2}-\d{2}'
  multiline.negate: true
  multiline.match: after  

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 3

output.logstash:
  hosts: ["<some_ip_address>:5044"]
  enabled: true

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
...