Logstash не загружает все записи с сервера SQL - PullRequest
Новая
       5

Logstash не загружает все записи с сервера SQL

0 голосов
/ 22 мая 2018

Я использую logstash для загрузки нескольких миллионов данных в Elasticsearch с сервера SQL.Однако каждый раз, когда я загружаю данные, мне не хватает нескольких тысяч записей. 

input {
  jdbc {
   jdbc_driver_library => "F:\MG_ES\elasticsearch-5.4.3\elasticsearch-5.4.3\lib\sqljdbc42.jar"
   jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
   jdbc_connection_string => "******"
   jdbc_user => "*******"
   jdbc_password => "*******"
   statement => "select * from ******"
   jdbc_paging_enabled => "true"
   jdbc_page_size => "500000"
   }
}
filter {
    mutate {
        remove_field => [ "message", "path", "score", "@version", "host" ]
    }
    #mutate { convert => ["REGCONNTYPEID","integer"]}
    #mutate { convert => ["data_time_id","integer"]}
}

output {
    elasticsearch {
        hosts => "localhost"
        index => "sql_elk_fct_data"
        document_type => "devices"
        document_id => "%{hwgdid}"
    }
    #stdout { codec => rubydebug { metadata=> true } }
}

В результате запроса 2027203 записей в базе данных, однако в Кибане я вижу только приведенный ниже счетчик -

kibana o / p

Я получил на 2298 записей меньше в индексе Elasticsearch.hwgdid - это уникальное и не нулевое поле в запросе.В чем может быть причина?

...