Как я могу уменьшить использование оперативной памяти Logstash? - PullRequest
Новая
       44

Как я могу уменьшить использование оперативной памяти Logstash?

0 голосов
/ 15 февраля 2019

Я ищу ответ на мою проблему с оперативной памятью Logstash, потому что она составляет почти 100%.Я провел много поисков, но они не сработали для меня.Ниже приведен код моего файла logstash.conf.Я думаю, что это требует небольших штрихов.

Logstash.conf: 

input {
  file {
        path => ["c:/mylogs/*.txt"]
        start_position => "beginning" 
        discover_interval => 10
        stat_interval => 10
        sincedb_write_interval => 10
        close_older => 10
        codec => "json"
  }
}

filter {
  date {
        match => ["mydate","yyyy-MM-dd HH:mm:ss.SSSS" ]
        timezone => "UTC"  
  }
  date {
        match => ["TimeStamp", "ISO8601"]
  }

  json {
        source => "request"
        target => "parsedJson"
  }
}

output {
  stdout {
        codec => rubydebug
  }
  elasticsearch {
        hosts => [ "http://localhost:9200" ]
        index => "log-%{+YYYY.MM}"
  }
}

1 Ответ

0 голосов
/ 15 февраля 2019

Logstash использует JVM для запуска.Параметры JVM, используемые logstash, можно настроить в файле jvm.options, в папке config вашей папки logstash (, см. Документ ).В файле вы можете установить опцию -Xmx, чтобы установить максимальный размер кучи, что ограничит максимальный объем используемой памяти.

В настройках logstash page вы также можете настроить пакетразмер и количество рабочих, чтобы уменьшить количество событий в полете, что должно уменьшить использование оперативной памяти, но также уменьшить пропускную способность logstash.

...