Logstash jdbc сохранить идентификатор последней вставки - PullRequest
Новая
       9

Logstash jdbc сохранить идентификатор последней вставки

0 голосов
/ 10 сентября 2018

У меня огромная таблица, более 1 миллиарда предметов. Я хочу перенести данные в эластичный поиск, но не могу найти способ восстановления данных после сбоев. Как сохранить последний (id), который Logstash поставил в упругий поиск? , Например, если что-то вылетает после перезапуска, я хочу получить последний сохраненный элемент и продолжить миграцию. Я посмотрел на sql_last_value, но, к сожалению, его последнее сохраненное значение сохранилось только после завершения задачи.

моя конфигурация 

input {
  jdbc { 
    jdbc_connection_string => "jdbc:mysql://localhost:3306/testdb"
    # The user we wish to execute our statement as
    jdbc_user => "tr"
    jdbc_password => "tr"
    # The path to our downloaded jdbc driver
    jdbc_driver_library => "/home/comp/Downloads/mysql-connector-java-5.1.38.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    # our query
    statement => "Select * from test where id > :sql_last_value"
    use_column_value => true
    tracking_column => "id"
    jdbc_fetch_size => 1000

    }
  }
...