Ошибка конфигурации logstash grok - при разборе имени файла - PullRequest
Новая
       9

Ошибка конфигурации logstash grok - при разборе имени файла

0 голосов
/ 25 июня 2019

Я новичок в logstash и grok и пытаюсь проанализировать журналы AWS ECS в корзине S3 в следующем формате -

Имя файла - my-logs-s3-bucket/3d265ee3-d2ee-4029-a3d9-fd2255d69b92/ecs-fargate-container-8ff0e472-c76f-4f61-a363-64c2b80aa842/000000.gz

Образцы линий - 

2019-05-09T16:16:16.983Z   JBoss Bootstrap Environment
2019-05-09T16:16:16.983Z   JBOSS_HOME: /app/jboss
2019-05-09T16:16:16.983Z   JAVA_OPTS:  -server -XX:+UseCompressedOops  -Djboss.server.log.dir=/var/log/jboss -Xms128m -Xmx4096m

И logstash.conf 

input {
  s3 {
    region => "us-east-1"
    bucket => "my-logs-s3-bucket"
    interval => "7200"
  }
}

filter {
  grok {
    match => ["message", "%{TIMESTAMP_ISO8601:tstamp}"]
  }
  date {
    match => ["tstamp", "ISO8601"]
  }
  mutate {
    remove_field => ["tstamp"]
    add_field => {
      "file" => "%{[@metadata][s3][key]}"
    }
    ######### NEED HELP HERE - START #########
    #grok {
    #  match => [ "file", "ecs-fargate-container-%{DATA:containerlogname}"]
    #}
    ######### NEED HELP HERE - END #########
  }
}

output {
 stdout { codec => rubydebug {
    #metadata => true
  }
 }
}

Я могу видеть все проанализированные журналы и имя файла, извлеченное, когда я запускаю logstash, используя вышеупомянутую конфигурацию, а имя файла из вывода выглядит следующим образом -

"file" => "myapp-logs/3d265ee3-d2ee-4029-a3d9-fd2255d69b92/ecs-fargate-container-8ff0e472-c76f-4f61-a363-64c2b80aa842/000000.gz",

Я пытаюсь использовать grok для извлечения имени файла как ecs-fargate-container-8ff0e472-c76f-4f61-a363-64c2b80aa842 или 8ff0e472-c76f-4f61-a363-64c2b80aa842, раскомментировав строки конфигурации grok между #NEED HELP HERE - START и заканчивая приведенной ниже ошибкой -

Expected one of #, => at line 21, column 10 (byte 536) after filter {\n grok {\n match => [\"message\", \"%{TIMESTAMP_ISO8601:tstamp}\"]\n }\n date {\n match => [\"tstamp\", \"ISO8601\"]\n }\n mutate {\n #remove_field => [\"tstamp\"]\n add_field => {\n \"file\" => \"%{[@metadata][s3][key]}\"\n }\n grok ", :

Я не уверен, где я иду не так с этим. Пожалуйста, совет.

1 Ответ

1 голос
/ 25 июня 2019

Ваш фильтр grok был внутри фильтра mutate, попробуйте следующее. 

filter {
    grok {
        match => ["message", "%{TIMESTAMP_ISO8601:tstamp}"]
    }
    date {
        match => ["tstamp", "ISO8601"]
    }
    mutate {
        remove_field => ["tstamp"]
        add_field => { "file" => "%{[@metadata][s3][key]}" }
    }
    grok {
        match => [ "file", "ecs-fargate-container-%{DATA:containerlogname}"]
    }
}
...