Как я могу получить тег из журналов системного журнала, которые отправляются в Logstash? - PullRequest
Новая
       36

Как я могу получить тег из журналов системного журнала, которые отправляются в Logstash?

0 голосов
/ 15 мая 2019

Я настроил мой демон Docker таким образом, чтобы журналы всех моих контейнеров пересылались в приложение Logstash, прослушивающее порт 5000, используя следующую конфигурацию для daemon.json: 

{
  "log-driver": "syslog",
  "log-opts": {
    "syslog-address": "udp://localhost:5000",
    "syslog-format": "rfc3164",
    "tag": "{{.Name}}"
  },

  "hosts": [
    "tcp://0.0.0.0:2375",
    "unix:///var/run/docker.sock"
  ]
}

Поскольку журналы создаются многими различными одновременно, я бы хотел иметь возможность фильтровать имена контейнеров, когда я визуализирую их журналы в моем стеке ELK. Однако я не уверен, каким образом я могу получить в Logstash «тег», который я установил как часть «log-opts» в конфигурации демона Docker выше.

Я пытался просто извлечь его как переменную и переслать в поле в конфигурации Logstash, но он просто сохраняет текст "% {tag}" в виде строки. Можно ли получить тег исходного контейнера в конфигурации Logstash?

logstash.conf: 

input {
  udp {
    port => 5000
    type => syslog
  }
}
output {
  elasticsearch {
    hosts => ["elasticsearch"]
  }
}

filter {
  if [type] == "syslog" {
    if [message] =~ "^<\d+>\s*\w+\s+\d+\s\d+:\d+:\d+\s\S+\s\w+(\/\S+|)\[\d+\]:.*$" {
      grok {
        match => {
          "message" => "%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:hostname} %{DATA:container_hash}(?:\[%{POSINT}\])?: %{GREEDYDATA:real_message}"
        }
        remove_field => ["message"]
      }
      mutate {
        add_field => {
          "tag" => "%{tag}"
        }
      }
    }
  }
}

Редактировать: Если я не удаляю поле message, как я делаю в конфигурации logstash, тогда поле message выглядит примерно так, когда я просматриваю журналы в Кибане: 

<30>May 15 15:13:23 devlocal e9713f013ebb[1284]: 192.168.56.110 - - [15/May/2019:15:13:23 +0200] "GET /server/status HTTP/1.0" 200 54 0.003 "-" "GuzzleHttp/6.3.3 curl/7.64.0 PHP/7.2.17" "172.30.0.2"

Так что tag, который я ищу, не является частью message; следовательно, я не знаю, откуда мне его взять.

1 Ответ

0 голосов
/ 17 мая 2019

Похоже, проблема может быть связана с выбранным вами драйвером журнала.Изменение лог-драйвера на gelf должно дать вам доступ к тегам и множеству других полей, например ниже 

    {
  "_index": "logstash-2017.04.27",
  "_type": "docker",
  "_id": "AVuuiZbeYg9q2vv-JShe",
  "_score": null,
  "_source": {
    "source_host": "172.18.0.1",
    "level": 6,
    "created": "2017-04-27T08:24:45.69023959Z",
    "message": "My Message Thu Apr 27 08:31:44 UTC 2017",
    "type": "docker",
    "version": "1.1",
    "command": "/bin/sh -c while true; do echo My Message `date`; sleep 1; done;",
    "image_name": "alpine",
    "@timestamp": "2017-04-27T08:31:44.338Z",
    "container_name": "squarescaleweb_plop_1",
    "host": "plop-xps",
    "@version": "1",
    "tag": "staging",
    "image_id": "sha256:4a415e3663882fbc554ee830889c68a33b3585503892cc718a4698e91ef2a526",
    "container_id": "12b7bcd3f2f54e017680090d01330f542e629a4528f558323e33f7894ec6be53"
  },
  "fields": {
    "created": [
      1493281485690
    ],
    "@timestamp": [
      1493281904338
    ]
  },
  "sort": [
    1493281904338
  ]
}

пример из: https://gist.github.com/eunomie/e7a183602b8734c47058d277700fdc2d

Вам также нужно будет отправлять свои журналы через UDP вместо TCP.Вы можете изменить свой daemon.json следующим образом: 

{
  "log-driver": "syslog",
  "log-opts": {
    "gelf-address": "udp://localhost:<PORT>"
    "tag": "{{.Name}}"
  },

  "hosts": [
    "tcp://0.0.0.0:2375",
    "unix:///var/run/docker.sock"
  ]
}

Я не уверен, какой порт у вас есть logstash, настроенный для приема пакетов UDP, но для GELF кажется, что 12201 является значением по умолчанию для logstash.

После отправки сообщений в logstash вы можете создать конвейер для извлечения полей по вашему выбору.например, [container_name]

...