Elasticsearch удаленный документ снова появляется с помощью logstash

Question

Я использую ES на кластере с одним узлом для разработки. Я удаляю документ используя delete api из kibana. Он удаляется на секунду и сразу же появляется снова. Любая помощь будет оценена

Вот команда API, которую я использую:

1. УДАЛИТЬ тест / _doc / 12345

{
  "_index" : "test",
  "_type" : "_doc",
  "_id" : "12345",
  "_version" : 231,
  "result" : "deleted",
  "_shards" : {
    "total" : 3,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 899,
  "_primary_term" : 1
}

GET test / _count

{
  "count" : 3,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  }
}

Сразу же удаляется do c, переиндексируется GET test / _count

{
  "count" : 4,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  }
}

Answer 1

Я обнаружил, что это проблема с данными. Мой оператор logsta sh jdb c проверяет дату модификации больше, чем sql_last_value. и планировщик настроен на запуск каждые 10 секунд. Повторно появившиеся документы изменили дату в будущем, изменив ее на текущую дату, решив проблему

Answer 2

Согласно документации:

... Если для clean_run задано значение true, это значение будет игнорироваться, а для sql_last_value будет установлено значение 1 января 1970

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html#_state

Это может объяснить, почему все ваши данные добавляются каждые 10 минут. Удалите clean_run и протестируйте снова или проверьте, обновляется ли поле _version.