Filebeat не отправлять информационные журналы - PullRequest
Новая
       40

Filebeat не отправлять информационные журналы

2 голосов
/ 18 марта 2019

Как я могу установить в filebeat, если я хочу все другие журналы, но не информацию.Это моя конфигурация, но она не работает: 

filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /var/log/messages
    - /var/log/secure
    - /var/log/audit/audit.log
    - /var/log/yum.log
    - /root/.bash_history
    - /var/log/neutron/*.log
    - /var/log/nova/*.log
    - /var/log/keystone/keystone.log
    - /var/log/httpd/error_log
    - /var/log/mariadb/mariadb.log
    - /var/log/glance/*.log
    - /var/log/rabbitmq/*.log
  exclude_files: ['/var/log/neutron/metadata-agent.log$']
  ignore_older: 72h
- type: log
  enabled: true
  paths:
    - /var/log/neutron/metadata-agent.log
  level: error
  ignore_older: 72h
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
output.logstash:
  hosts: [""]

Моя цель в случае metadata-agent.log. Я не хочу отправлять информационные журналы, только все остальное, что отличаетсяиз информации, подобной этой: 

2019-03-18 12:34:18.075 1183 TRACE neutron.agent.metadata.agent Exception: Unexpected response code: 504
2019-03-18 12:34:18.075 1183 TRACE neutron.agent.metadata.agent
2019-03-18 12:34:19.083 1186 ERROR neutron.agent.metadata.agent [-] Unexpected error.

Но с этой конфигурацией информация все еще отправляется.В чем проблема?Моя версия filebeat 6.2

1 Ответ

0 голосов
/ 31 марта 2019

Вы можете определить процессоры в вашей конфигурации для обработки событий перед отправкой на настроенный выход

Вы можете использовать drop_event процессор в разделе Процессоры в filebeat.yml, как показано ниже. Он удалит любую строку журнала, которая идет из файла /var/log/neutron/metadata-agent.log, и регулярное выражение соответствует строке, начинающейся с например: 2019-03-18 12:34:18.075 1183 INFO

Процессор drop_event удаляет все событие, если условие выполнено 

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - drop_event:
     when:
      and:
        - equals:
           source: '/var/log/neutron/metadata-agent.log'
        - regexp:
           message: '^\d{4}-\d{2}-\d{2} \d{2}\:\d{2}\:\d{2}\.\d{3}\s\d{4}\sINFO\s'
...