logstash conf - строка журнала, начинающаяся с [и заканчивающаяся], не показанная в кибане - PullRequest
Новая
       33

logstash conf - строка журнала, начинающаяся с [и заканчивающаяся], не показанная в кибане

0 голосов
/ 29 ноября 2018

недавно я работал с filebeat -> logstash -> эластичный поиск -> настройка kibana

У меня есть 2 сервера: 1. сервер работает cca 20 контейнеров (каждый из которых производит разные журналы) и filebeat 2. сервер работаетlogstash ,asticsearch и kibana

около 9 моих контейнеров имеют журналы, начинающиеся с "[" и заканчивающиеся на "]", и все эти контейнеры не отображаются в кибане. Я предполагаю, что квадратные скобки являются причиной, по которой моя конфигурация logstash не принимает сообщение, и, следовательно, строка журнала не отображается в kibana ???

, когда я перезапускаю контейнер, он выдает сообщение журнала, что-то вроде «Контейнер запущен» - эта строка журнала не начинается и не заканчивается [или] -> Эта строка была правильно показана в кибане.Поэтому, скорее всего, проблема заключена в квадратные скобки.

Не могли бы вы помочь мне настроить мой файл conf logstash, чтобы он принимал / отправлял журналы, начинающиеся / заканчивающиеся [], на kibana? Пожалуйста, еслиВы можете помочь, поделиться точным текстом конфигурации, так как я не очень разбираюсь в синтаксисе

Я отправляю вам свою конфигурацию logstash, как это выглядит сейчас: 

input {
  beats {
    port => 5044
    host => "0.0.0.0"
  }
}
filter {
  grok {
    match => { "message" => "%{IP:client} \<%{IP:hostAddress}\> - - \[%{HTTPDATE:timestamp}\] \"%{WORD:method} %{DATA:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:response} %{NUMBER:bytes}" }
  }
}
output {
  elasticsearch {
    hosts => localhost
  }
}

Здесь я добавляю примержурнала выстроены одним из контейнеров: 

[2018-11-29 18:12:54,322: INFO/MainProcess] Connected to amqp://guest:**@rabbitmq:5672//
[2018-11-29 18:12:54,335: INFO/MainProcess] mingle: searching for neighbors
[2018-11-29 18:12:55,431: INFO/MainProcess] mingle: sync with 1 nodes

Мой конфиг теперь настроен в основном для контейнера nginx, если у вас есть время, вы также можете помочь мне создать конфигурацию для указанного выше журнала.Но в этом посте я в основном хочу узнать, как обрабатывать [и] записи в журнале, чтобы они отправлялись в kibana.

Большое спасибо, ребята, заранее, надеюсь, я найду здесь помощь, так какЯ довольно потерян с этим.Спасибо

...