Filebeat не отправляет журналы в Logsta sh, даже если сбор урожая выполнен успешно - PullRequest
Новая
       68

Filebeat не отправляет журналы в Logsta sh, даже если сбор урожая выполнен успешно

0 голосов
/ 26 января 2020

Я пытаюсь использовать место ELK для сбора файлов журналов. Все в порядке, пока интеграция файлов. Я могу отправить журналы через tcp в logsta sh и посмотреть в кибане. Но я не смог выполнить настройку filebeat для отправки логов. Он отправляет данные, но не видит их вasticsearch.

Использование этой команды для создания эластичного поиска.

docker run -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" --name elasticsearch docker.elastic.co/elasticsearch/elasticsearch:7.5.2

Kibana:

docker run -d -p 5601:5601 -h kibana --name kibana --link elasticsearch:elasticsearch docker.elastic.co/kibana/kibana:7.5.2

Logsta sh:

docker run -d -p 5044:5044 -p 5000:5000 -h logstash --name logstash --link elasticsearch:elasticsearch -v c:/elk2/config-dir:/config-dir docker.elastic.co/logstash/logstash:7.5.2 -f /config-dir/logstash.conf

Logsta sh .conf file 

input {
    beats {
        type => "test"
        port => "5044"
    }
}

filter {
  #If log line contains tab character followed by 'at' then we will tag that entry as stacktrace
  if [message] =~ "\tat" {
    grok {
      match => ["message", "^(\tat)"]
      add_tag => ["stacktrace"]
    }
  }

}

output {

  stdout {
    codec => rubydebug
  }

  # Sending properly parsed log events to elasticsearch
  elasticsearch {
    hosts => ["elasticsearch:9200"]
  }
}

Запуск filebeat на windows 10 машина. Загруженный zip и файл конфигурации bebe.yml 

filebeat.modules:
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:/elk2/filebeat/log/*.log
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after

output:
  logstash:
    hosts: ["localhost:5044"]
#Also tried 127.0.0.1/logstash/ip... as hosts here

Запуск powershell в режиме администратора и сначала

./install-service-filebeat.ps1

, затем

./filebeat.exe -c ./filebeat.yml

2020-01-26T22:28:45.652+0300    INFO    log/harvester.go:251    Harvester started for file: C:\elk2\filebeat\log\logstash-mehmet.log
2020-01-26T22:29:15.651+0300    INFO    [monitoring]    log/log.go:145  Non-zero metrics in the last 30s        {"monitoring": {"metrics": {"beat":{"cpu":{"system":{"ticks":250,"time":{"ms":250}},"total":{"ticks":343,"time":{"ms":343},"value":343},"user":{"ticks":93,"time":{"ms":93}}},"handles":{"open":664},"info":{"ephemeral_id":"46f26124-44e5-4733-a259-4bed65d07a05","uptime":{"ms":32977}},"memstats":{"gc_next":9518416,"memory_alloc":6349856,"memory_total":10791408,"rss":39120896},"runtime":{"goroutines":28}},"filebeat":{"events":{"added":2,"done":2},"harvester":{"open_files":1,"running":1,"started":1}},"libbeat":{"config":{"module":{"running":0}},"output":{"type":"logstash"},"pipeline":{"clients":1,"events":{"active":0,"filtered":2,"total":2}}},"registrar":{"states":{"current":1,"update":2},"writes":{"success":2,"total":2}},"system":{"cpu":{"cores":8}}}}}

Но безрезультатно при поиске elasti c.

Ответы [ 2 ]

0 голосов
/ 28 января 2020

Измените входную часть в logsta sh .conf и повторите попытку, 

 input {
  beats { port => 5044 }
      }
0 голосов
/ 27 января 2020

Попробуйте удалить кавычки в порту 

input {
    beats {
        type => "test"
        port => 5044
    }
}
...