Есть ли API, который показывает записи, происходящие с индексом ES? - PullRequest
Новая
       7

Есть ли API, который показывает записи, происходящие с индексом ES?

0 голосов
/ 21 февраля 2019

Предыстория: - У меня есть кластер ES, на котором размещено множество индексов клиентов, и ранее, почти пару лет назад, наше приложение создавало новый индекс каждый месяц для каждого клиента, и мы никогда не удаляли старые индексы.

Теперь из-за проблемы с дисковым пространством нам нужно очистить неиспользуемые индексы, но мы хотели вдвое больше убедиться, что старые индексы не используются никоим образом.

мы использовали https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-stats.html, но это не дает убедительного доказательства того, использовался ли индекс недавно или нет.

Слышал marvel, и это может быть полезно, ноэто выглядит излишним, поскольку мы уже используем data dog для базового мониторинга нашего кластера ES, и это было так много лет, и у нас не было насущной необходимости marvel.

Лучшее решение будетбыть некоторым API из ES, с помощью которого мы можем быстро определить и удалить старые индексы.

1 Ответ

0 голосов
/ 21 февраля 2019

Вы можете использовать API статистики индекса , который позволяет вам видеть, обрабатывались ли запросы поиска или индекса данным индексом с момента последнего перезапуска. 

GET index/_stats
=>
  "_all": {
    "primaries": {
      "docs": {
        "count": 396885916,
        "deleted": 1712210
      },
      "store": {
        "size_in_bytes": 207383595268,
        "throttle_time_in_millis": 0
      },
      "indexing": {
        "index_total": 8,               <-- writes are happening if you see this increase
        "index_time_in_millis": 41,
        "index_current": 0,
        "index_failed": 0,
        "delete_total": 0,
        "delete_time_in_millis": 0,
        "delete_current": 0,
        "noop_update_total": 0,
        "is_throttled": false,
        "throttle_time_in_millis": 0
      },
      "get": {
        "total": 0,
        "time_in_millis": 0,
        "exists_total": 0,
        "exists_time_in_millis": 0,
        "missing_total": 0,
        "missing_time_in_millis": 0,
        "current": 0
      },
      "search": {
        "open_contexts": 7,
        "query_total": 30238,           <-- reads are happening if you see this increase
        "query_time_in_millis": 254000,
        "query_current": 0,
        "fetch_total": 816,
        "fetch_time_in_millis": 25997,
        "fetch_current": 0,
        "scroll_total": 7637,
        "scroll_time_in_millis": 686963111,
        "scroll_current": 7,
        "suggest_total": 0,
        "suggest_time_in_millis": 0,
        "suggest_current": 0
      },
...