Logstash: пропущенные данные после миграции - PullRequest
Новая
       12

Logstash: пропущенные данные после миграции

0 голосов
/ 15 октября 2019

Я перенес один из индексов в Elasticsearch с собственным хостом на amazon -asticsearch с использованием Logstash. у нас есть около 1812 документов в нашем собственном Elasticsearch, но в amazon -asticsearch у нас есть только около 637 документов. Половина документов отсутствует после миграции.

Наш конфигурационный файл logstash 

input {
 elasticsearch {
 hosts => ["https://staing-example.com:443"]
 user => "userName"
 password => "password"
 index => "testingindex"
 size => 100
 scroll => "1m"
 }
}

filter {

}

output {
 amazon_es {
 hosts => ["https://example.us-east-1.es.amazonaws.com:443"]
 region => "us-east-1"
 aws_access_key_id => "access_key_id"
 aws_secret_access_key => "access_key_id"
 index => "testingindex"
}
stdout{
  codec => rubydebug
  }
}

Мы также пытались использовать некоторые другие индексы, но он все еще переносит только половину документов.

1 Ответ

0 голосов
/ 15 октября 2019

Обязательно сравнивайте яблоки с яблоками, запустив GET index/_count в индексе с обеих сторон.

В зависимости от того, где вы смотрите, вы можете увидеть больше или меньше документов (плагин Elasticsearch HEAD, Kibana, Cerebro и т. Д. ) и если в подсчете учитываются реплики.

В вашем случае у вас было больше реплик в локальной среде, чем в службе AWS Elasticsearch, отсюда и другой счет.

...