Сервис Logsta sh в linux постоянно опрашивает папку conf.d - PullRequest
Новая
       4

Сервис Logsta sh в linux постоянно опрашивает папку conf.d

0 голосов
/ 30 марта 2020

Моя задача : запустить службу Logsta sh на Linux, чтобы прочитать файлы конфигурации в папке conf.d и отправить данные из PostgreSQL в Elasticsearch.

Проблема : после запуска службы Logsta sh она непрерывно опрашивает папку, поэтому повторные данные могут быть переданы в Elasticsearch. Даже если я использую указанное поле в качестве первичного ключа, store.size соответствующего индекса в Elasticsearch увеличивается.

До:

зеленые открытые curentstates OBXrU9kGRoaad8Pxsffz0g 1 1 101 149 42.1 kb 41.9kb

Через несколько минут:

зеленые открытые curentstates OBXrU9kGRoaad8Pxsffz0g 1 1 101 444 1.4mb 741.8kb

Я попытался найти интервал опроса в файлах конфигурации Logsta sh, но безрезультатно.

Вот пример моего файла .conf, хранящегося в папке conf.d: 

input {
jdbc {
    jdbc_connection_string => "jdbc:postgresql://myhost:5432/postgres"
    jdbc_user => "postgres"
    jdbc_password => "postgres"
    jdbc_driver_library => "/etc/logstash/driver/postgresql-42.2.11.jre7.jar"
    jdbc_driver_class => "org.postgresql.Driver"
    statement => "SELECT * from CURENTST"
}}
output {
elasticsearch {
    hosts => "myhost:9200"
    index => "fias"
    document_type => "curentst"
    document_id => "%{curentstid}"
}}
...