Почему анализатор fluentd JSON не работает должным образом? - PullRequest
Новая
       15

Почему анализатор fluentd JSON не работает должным образом?

0 голосов
/ 17 октября 2018

Я использую изображение gcr.io/google-containers/fluentd-elasticsearch (v2.3.1), чтобы заставить fluentd собирать некоторые журналы и отправлять их в поиск Elastic.Я использую приведенную ниже конфигурацию для fluentd: 

<source>
  type forward
  port {{.Values.fluentd.forward.port}}
  bind 0.0.0.0
</source>
<filter kube.**>
  @type parser
  @log_level debug
  key_name log
  reserve_data true
  remove_key_name_field true
  <parse>
    @type json
    time_key time
    time_type string
    time_format %iso8601
  </parse>
</filter>
<filter kube.**>
  @type record_transformer
  @log_level debug      
  enable_ruby
  <record>
    kubernetes ${record["kubernetes"]["cluster_name"] = "{{.Values.clusterName}}"; record["kubernetes"] }
    logtrail  {"host": "${record['kubernetes']['pod_name']}", "program":"${record['kubernetes']['container_name']}"}
  </record>
</filter>
<filter kube.**>
  @type concat
  key log
  stream_identity_key kubernetes["docker_id"]
  multiline_end_regexp /\n$/
  separator ""
</filter>

Приведенная выше конфигурация должна была проанализировать JSON, связанный с ключом, называемым log.Но я вижу, что JSON вообще не анализируется.Ниже приведен JSON, который я получаю после того, как fluentd выполняет фильтрацию.Я ожидал, что JSON, связанный с журналом ключей, будет проанализирован. 

{"kubernetes":{"pod_name":"api-dummy-dummy-vcpqr","namespace_name":"dummy","pod_id":"dummy","labels":{"name":"api-dummy","pod-template-hash":"dummy","tier":"dummy"},"host":"dummy","container_name":"api-dummy","docker_id":"dummy","cluster_name":"dummy Dev"},"log":"{\"name\":\"dummy\",\"json\":false,\"hostname\":\"api-dummy-dummy-vcpqr\",\"pid\":24,\"component\":\"dummy\",\"level\":30,\"version\":\"1.0\",\"timestamp\":1539645856126}","stream":"stdout","logtrail":{"host":"api-dummy-dummy-vcpqr","program":"api-dummy"}}

Я потратил более 3 дней, чтобы найти решение для этого.Я даже пытался использовать https://github.com/edsiper/fluent-plugin-docker, но это не помогло.Хотя плагин помог проанализировать JSON, он привел к тому, что проанализированные сообщения журнала были отклонены поиском Elastic.

1 Ответ

0 голосов
/ 17 октября 2018

Ваше поле журнала недопустимо в формате JSON. 

{
  "kubernetes": {
    "pod_name": "api-dummy-dummy-vcpqr",
    "namespace_name": "dummy",
    "pod_id": "dummy",
    "labels": {
      "name": "api-dummy",
      "pod-template-hash": "dummy",
      "tier": "dummy"
    },
    "host": "dummy",
    "container_name": "api-dummy",
    "docker_id": "dummy",
    "cluster_name": "dummy Dev"
  },
  "log": "{\"name\":\"dummy\",\"json\":false,\"hostname\":\"api-dummy-dummy-vcpqr\",\"pid\":24,\"component\":\"dummy\",\"level\":30,\"version\":\"1.0\",\"timestamp\":1539645856126",
  "stream": "stdout",
  "logtrail": {
    "host": "api-dummy-dummy-vcpqr",
    "program": "api-dummy"
  }
}

Вы должны объединить поле журнала перед синтаксическим анализом как JSON.

...