Как прочитать файл json, используя filebeat, и отправить его вasticsearch через logstash - PullRequest
Новая
       28

Как прочитать файл json, используя filebeat, и отправить его вasticsearch через logstash

0 голосов
/ 18 июня 2019

Это мой файл журнала json. Я пытаюсь сохранить файл в моем упругом-Поиск через мой logstash. 

{"message":"IM: Orchestration","level":"info"}
{"message":"Investment Management","level":"info"}

Вот мой файл bebe.yml 

filebeat.inputs:
- type: log
  enabled: true
  paths:
   - D:/Development_Avecto/test-log/tn-logs/im.log
  json.keys_under_root: true
  json.add_error_key: true
processors:
 - decode_json_fields:
     fields: ["message"]
output.logstash:
  hosts: ["localhost:5044"]


input{
    beats {
        port => "5044"
    }
}

filter {
    json {
      source => "message"
    }   
}   

output{
    elasticsearch{
        hosts => ["localhost:9200"]
        index => "data"
    }
}

Невозможно посмотреть, вставлен в эластичный сеч. Не удалось найти в чем ошибка. журнал регистрации файлов

2019-06-18T11: 30: 03.448 + 0530 ИНФО регистратор / registrar.go: 134 Загрузка данных регистратора из D: \ Development_Avecto \ filebeat-6.6.2-windows-x86_64 \ data \ registry 2019-06-18T11: 30: 03.448 + 0530 ИНФОРМАЦИЯ регистратор / registrar.go: 141 государство Загружено из регистратора: 10 2019-06-18T11: 30: 03.448 + 0530 WARN beater / filebeat.go: 367 Filebeat не может загрузить конвейеры Ingest Node для сконфигурированных модулей, поскольку выход Elasticsearch не сконфигурирован / не включен. Если вы уже загрузили конвейеры Ingest Node или используете конвейеры Logstash, вы можете игнорировать это предупреждение. 2019-06-18T11: 30: 03.448 + 0530 INFO crawler / crawler.go: 72 Входы нагрузки: 1 2019-06-18T11: 30: 03.448 + 0530 INFO log / input.go: 138 Настроенные пути: [D: \ Development_Avecto \ test-log \ tn-logs \ im.log] 2019-06-18T11: 30: 03.448 + 0530 INFO input / input.go: 114 Начальный ввод типа: log; ID: 16965758110699470044 2019-06-18T11: 30: 03.449 + 0530 INFO crawler / crawler.go: 106 Загрузка и запуск Входы завершены. Включенные входы: 1 2019-06-18T11: 30: 34.842 + 0530 ИНФОРМАЦИЯ [мониторинг] log / log.go: 144 Ненулевые метрики за последние 30 с. {"Monitor": {"metrics": {"beat": {"cpu": { "система": { "галочки": 312, "время": { "мс": 312}}, "всего": { "галочки": 390, "время": { "MS": 390}, "значение ": 390}," пользователь ": {" галочки ": 78," время ": {" MS ": 78}}}," ручки ": {" открыть ": 213}," данные ": {" ephemeral_id» : "66983518-39e6-461c-886d-a1f99da6631d", "безотказной работы": { "мс": 30522}}, "memstats": { "gc_next": 4194304, "memory_alloc": 2963720, "memory_total": 4359488,» Новости ": 22421504}}," filebeat ": {" события ": {" добавил ": 1," сделано ": 1}," комбайн ": {" open_files ": 0," бегущие ": 0}}," libbeat ": {" конфигурация ": {" модуль ": {" работает ": 0}}," выход ": {" Тип ":" logstash "}," трубопровод ": {" клиенты ": 1," событие» : { "активный": 0, "фильтруют": 1, "всего": 1}}}, "регистратор": { "состояния": { "текущий": 10, "обновление": 1}, "пишет": { "успех": 1, "всего": 1}}, "система": { "CPU": { "сердечники": 4}}}}} 2 * * +1010

...