Как работает hit_cache_size в dns-фильтре logstash? - PullRequest
Новая
       16

Как работает hit_cache_size в dns-фильтре logstash?

0 голосов
/ 23 апреля 2019

Я использую DNS-фильтр в logstash для моего CSV-файла.В моем CSV-файле у меня есть два поля.Они сайт и считают.

Вот пример содержимого моего файла csv: 

|website|n|
|www.google.com|n1|
|www.yahoo.com|n2|
|www.bing.com|n3|
|www.stackoverflow.com|n4|
|www.smackcoders.com|n5|
|www.zoho.com|n6|
|www.quora.com|n7|
|www.elastic.co|n8|

Вот мой файл конфигурации logstash: 

  input {
       file {
          path => "/home/paulsteven/log_cars/cars_dns.csv"
          start_position => "beginning"
          sincedb_path => "/dev/null"
       }
    }
    filter {
        csv {
            separator => ","
            columns => ["website","n"]
        }
        dns { 
          resolve => [ "website" ] 
          action => "replace" 
          hit_cache_size => 8000 
          hit_cache_ttl => 300 
          failed_cache_size => 1000 
          failed_cache_ttl => 10
        }
    }
    output {
      elasticsearch {
        hosts => "localhost:9200"
        index => "dnsfilter03"
        document_type => "details"
      }
      stdout{}
    }

Вот пример передачи данныхчерез logstash: 

  {
          "@version" => "1",
              "path" => "/home/paulsteven/log_cars/cars_dns.csv",
           "website" => "104.28.5.86",
                 "n" => "n21",
              "host" => "smackcoders",
           "message" => "www.smackcoders.com,n21",
        "@timestamp" => 2019-04-23T10:41:15.680Z
    }

В файле конфигурации logstash я хочу узнать о hit_cache_size.Какая польза от этого.Я прочитал руководство фильтра DNS на эластичном веб-сайте, но не смог разобраться.Я добавил поле в моей конфигурации logstash, но ничего не произошло.Могу ли я получить какие-либо примеры для этого.Я хочу знать, как использовать hit_cache_size.Что за работа, это делает в фильтре днс

1 Ответ

2 голосов
/ 23 апреля 2019

hit_cache_size позволяет вам сохранить результат успешного запроса, поэтому, если вам нужно выполнить запрос DNS на том же хосте, он будет смотреть в кеш вместо этого и только будет выполнять поиск DNS, если хост не кэширован .

Если ваши данные имеют уникальные хосты, то нет смысла использовать hit_cache_size, поскольку хосты появляются только один раз.

hit_cache_ttl работает с hit_cache_size и сообщает, сколько секунд запрос будет храниться в кэше.

...