Является ли миграция logstash постепенной? - PullRequest
0 голосов
/ 19 сентября 2019

Перемещение индекса из одного кластера в другой кластер с применением mutate с remove_field фильтром

Вот то, что я пытаюсь переместить, индекс клиента из одного кластера в другой кластер удаляет некоторые поля.Будет ли schedule резервное копирование данных с помощью logstash?Является ли это наилучшей практикой для перемещения данных.

Я хочу, чтобы logstash перемещал данные каждые 5 soconds в выходной кластер.

Вот мой logstash.conf

input {
    elasticsearch {
    hosts => ["192.31.24.100:9200"]
    index => "customer"
    size => 1000
    scroll => "1m"
    schedule => "5 * * * *"
    }
} 
filter {
    mutate {
    remove_field => [ "alternateEmails", "email" ]
    }
}
output {
    elasticsearch {
    hosts => ["192.31.24.101:9200"]
    index => "customer-without-email"
    workers => 1
    }
}
...