Я использую 5.x версию Logstash и 7.x версию Elasticsearch и Kibana, проблема, с которой я сталкиваюсь, даже после задания пути для sincedb, logstash не записывает метку времени до завершения чтения точки,Каждый раз начинается чтение целых данных.
Я использую указанную ниже конфигурацию.
input{
jdbc{
jdbc_driver_library => "/usr/share/logstash/bin/mysql-connector-java-8.0.16.jar"
jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
jdbc_connection_string => "jdbc:mysql://10.32.5.51:3307/sakila?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC"
jdbc_user => "root"
jdbc_password => "root"
statement => "SELECT * FROM sakila.city WHERE updatedon > :sql_last_value"
type =>"dailysummary"
schedule => "*/5 * * * *"
use_column_value => true
tracking_column => updatedon
record_last_run => true
last_run_metadata_path => "/usr/share/logstash/bin/since"
}
}
filter{
}
output {
elasticsearch {
hosts=> "localhost:9200"
index=> "dailysummary-%{+YYYY-MM-dd}"
}
}