Как читать только последние документы из Elasti c Плагин поиска ввода? - PullRequest
Новая
       78

Как читать только последние документы из Elasti c Плагин поиска ввода?

0 голосов
/ 08 марта 2020

Logsta sh компонент был настроен с вводом как Elasti c Поиск и вывод как Kafka topi c с опцией расписания (schedule => "* * * * *"). Цель - каждую минуту должен запускаться конвейер logsta sh и получать последние документы из ввода elasti c search и pu sh в kafka topi c, но каждый раз при загрузке всех документов из elasti c search to kafka topi c.

Моя конфигурация logsta sh, как показано ниже: 

input {
  elasticsearch {
    hosts => [ "http://xxxxx:9200" ]
    user => "xxxx"
    password => "xxxx"
    index => "test_index1"
    size => 1000
    schedule => "* * * * *"
    scroll => '5m'
    docinfo => true
  }
}

output {
    kafka {
                                bootstrap_servers => ["xxxx:9092"]
                                codec => "json"
                                topic_id =>  "test_topic"
        }

}

Может ли кто-нибудь помочь в чтении только последних документов из elasti c search and pu sh to kafka topi c таким образом, чтобы добиться потоковой передачи из Elasti c искать в Kafka ...?

...