отправка данных с даты последнего обновления - PullRequest
Новая
       11

отправка данных с даты последнего обновления

0 голосов
/ 26 сентября 2019

Так что я использую приведенный ниже запрос в моем входном файле jdbc logstash. 

statement => "SELECT * from mydata WHERE updated_on > :sql_last_value  ORDER BY updated_on"
use_column_value =>true
tracking_column =>updated_on
tracking_column_type => "@timestamp"

или 

statement => "SELECT * from mydata WHERE  :sql_last_value > updated_on ORDER BY updated_on"
use_column_value =>true
tracking_column =>updated_on
tracking_column_type => "@timestamp"

здесь my: значение sql_last рассматривается как время последнего запуска конфигурациифайл.пример: 

"updated_on": "2019-09-26T08:11:00.000Z",
"@timestamp": "2019-09-26T08:17:52.974Z"

здесь мое sql_last_value соответствует @timestamp, я хочу, чтобы он рассмотрел updated_on вместо него.

Как мне изменить его, чтобы он учитывал дату последнего updated_on вместо времени выполнения?

1 Ответ

1 голос
/ 26 сентября 2019

Так что это ваша текущая конфигурация : 

    statement => "SELECT * from agedata WHERE updated_on > :sql_last_value ORDER BY updated_on"
    use_column_value => true
    tracking_column => updated_on
    tracking_column_type => "timestamp"

В сущности, переменная sql_last_value будет хранить / запоминать последнее значение столбца updated_on изпоследний запуск с use_column_value равен true ( не последнее значение времени выполнения , как вы предлагаете, иначе use_column_value будет false).

Итак, ваша конфигурация ужеделать то, что вы ожидаете.

...