Раковина HDFS с морфлином-перехватчиком Flume - PullRequest
Новая
       20

Раковина HDFS с морфлином-перехватчиком Flume

0 голосов
/ 23 апреля 2019

Я пытаюсь прочитать системный журнал с Flume, разделить на части с помощью Morphline и записать результат с разделителем ',' в HDFS, но я не знаю, как перенаправить вывод 'grok' в приемник.

Спасибо !!

Это мой файл морфлин:

морфлин: [ { id: morphline1 

commands : [
  {               
    readLine {
      charset : UTF-8
    }
  }

  {
    grok {
      dictionaryFiles : [/grok-dictionaries]
      expressions : {
        message : """<%{POSINT:priority}>%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:hostname} %{DATA:program}(?:\[%{POSINT:pid}\])?: %{GREEDYDATA:msg}"""
      }
    }
  }

]

} ]

1 Ответ

0 голосов
/ 25 апреля 2019

Решено!Это решение:

{java {code: "" "record.replaceValues ​​(" _ attachment_body ", record.getFirstValue (" _ attachment_body "). ToString (). GetBytes (Charsets.UTF_8)); вернуть дочерний элемент.process (record); "" "}}

...