Добавить конкретное поле MDC в журнал logstash

Question

Я пытаюсь добавить пользовательское поле в logstash appender в logback-spring.xml следующим образом:

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<appender name="stash" class="net.logstash.logback.appender.LogstashSocketAppender">
        <host>xx.xx.xx.xx</host>
        <port>xxxxx</port>
        <encoder class="net.logstash.logback.encoder.LogstashEncoder">
            <includeMdcKeyName>myField</includeMdcKeyName>
        </encoder>
</appender>

<root level="info">
    <appender-ref ref="stash" />
</root>

</configuration>

Это выдает мне ошибку:

Исключение в потоке "main"java.lang.IllegalStateException: Обнаружена ошибка конфигурации Logback: ОШИБКА в ch.qos.logback.core.joran.spi.Interpreter@34: 71 - для [encoder] нет применимых действий, текущий ElementPath - [[configuration] [appender] [кодер]]

Когда я попробовал консольный appender и попытался напечатать это поле, как в примере ниже, оно работало.

<layout>
      <Pattern>%-4r [%thread] %-5level My Field: [%X{myField:--}] %msg%n</Pattern>
</layout>

Можете ли вы сказать мне, что я сделал неправильно с udp appender?Спасибо за совет.

Answer 1

Вы используете UDP appender , и у него нет encoder.Вы должны использовать TCP Appender (LogstashTcpSocketAppender вместо LogstashSocketAppender):

<appender name="stash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    <destination>xx.xx.xx.xx:xxxxx</destination>
    <encoder class="net.logstash.logback.encoder.LogstashEncoder">
        <includeMdcKeyName>myField</includeMdcKeyName>
    </encoder>
</appender>

---

Посмотрите демонстрационный проект, который я создал здесь .

Этот код (Kotlin):

MDC.put("mdc", "so53558553")

LOG.warn("Warn")

С logback-spring.xml, как это:

<appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    <destination>localhost:5000</destination>
    <encoder class="net.logstash.logback.encoder.LogstashEncoder">
        <includeMdcKeyName>mdc</includeMdcKeyName>
    </encoder>
</appender>

Создает такие записи в Logstash:

{
    "level_value" => 30000,
            "mdc" => "so53558553",
           "port" => 35450,
    "logger_name" => "by.dev.madhead.playgrounds.so53558553.SpringBootConsoleApplication",
           "host" => "172.17.0.1",
       "@version" => "1",
     "@timestamp" => 2018-12-03T01:16:28.793Z,
    "thread_name" => "main",
        "message" => "Warn",
          "level" => "WARN"
}

mdc field">

Как видите, значения mdc воспринимаются Logstash как поле в LoggingEvent.

РЕДАКТИРОВАТЬ

Возможно, вы не видите свое поле в Кибане из-за неверной конфигурации ELK.Я вставляю свою конфигурацию Logstash pipiline (/etc/logstash/conf.d/01-input.conf) только для справки (это очень просто):

input {
    tcp {
        port => 5000
        codec => json_lines
    }
}

output {
    elasticsearch {
        hosts => [ "localhost:9200" ]
        index => "logback-%{+YYYY.MM.dd}"
    }
}

Затем я настроил журналы в Kibana с шаблоном logback-*:

И вуаля: