ElasticSearch массовая очистка по причинам удаленных документов?(Сервис AWS ES) - PullRequest
Новая
       18

ElasticSearch массовая очистка по причинам удаленных документов?(Сервис AWS ES)

0 голосов
/ 18 июня 2019

Есть ли какая-либо информация, когда и почему ES может инициировать автоматическую очистку документов, помеченных для удаления?

Где можно найти логи с возможной информацией о триггере?

Данный сервис на самом деле является AWS ES, но я не думаю, что он связан с темой .. может быть, я ошибаюсь?

указанная версия ElasticSearch 5.1

1 Ответ

0 голосов
/ 19 июня 2019

когда произойдет слияние, помеченный документ будет удален.Существуют некоторые политики слияния, которые указывают, когда инициируется процесс слияния.например, количество файлов сегмента составляет более 300 или отмеченный документ составляет более 15% сегмента.Здесь есть некоторая информация дляasticsearch 1.4: https://www.elastic.co/guide/en/elasticsearch/reference/1.4/index-modules-merge.html

Похоже, что разработчики больше не хотят уточнять политики.

это пример параметров политики слияния: 

  "merge": {
    "scheduler": {
      "max_thread_count": "1",
      "auto_throttle": "true",
      "max_merge_count": "6"
    },
    "policy": {
      "reclaim_deletes_weight": "2.0",
      "floor_segment": "2mb",
      "max_merge_at_once_explicit": "30",
      "max_merge_at_once": "10",
      "max_merged_segment": "5gb",
      "expunge_deletes_allowed": "10.0",
      "segments_per_tier": "10.0",
      "deletes_pct_allowed": "33.0"
    }

для регистрации процесса слияния. Я думаю, что вы должны изменить уровень журналов на INFO или DEBUG.(настройки log4j)

...