Как динамически именовать индекс в Elasticsearch Date Name Index Processor?

Question

Мне нужно использовать Elasticseach Date Name Processor, чтобы каждый журнал шел к нужному индексу. Это просто.

Моя проблема в том, что мне нужно динамически называть индексы с помощью содержимого поля, но я не знаю, как это сделать.

Ниже у вас есть мой трубопровод. Как вы увидите, мне нужно назвать индексы, используя поле «развертывание» (это существующее поле), но я не знаю, как.

PUT _ingest/pipeline/ixmd-date-index
{
  "description": "indexa la entrada de log en el índice correcto según el logdate",
  "processors" : [
    {
      "date_index_name" : {
        "field" : "logdate",
        "index_name_prefix" : "ixmd-{[fields.deployment]}-",
        "date_rounding" : "d",
        "date_formats": ["yyyy-MM-dd HH:mm:ss.SSSS", "ISO8601"]
      }
    }
  ]
}

Я пробовал несколько форматов, таких как "ixmd -% {[fields] [deploy]} -", "ixmd- {fields.deployment} -", ..., но ни один не работает.

Answer 1

Я сделал это!

Правильный конвейер:

PUT _ingest/pipeline/ixmd-date-index
{
  "description": "indexa la entrada de log en el índice correcto según el logdate",
  "processors" : [
    {
      "date_index_name" : {
        "field" : "logdate",
        "index_name_prefix" : "ixmd-{{ fields.deployment }}-",
        "date_rounding" : "d",
        "date_formats": ["yyyy-MM-dd HH:mm:ss.SSSS"]
      }
    }
  ]
}

Таким образом, правильный способ получить доступ к полю - использовать {{my_field}}. В моем примере это {{fields.deployment}} , поэтому правильный способ определения префикса имени индекса для меня:

"index_name_prefix" : "ixmd-{{ fields.deployment }}-"

и я получу индекс с именем «ixmd-server1-2018.09.12», «ixmd-server2-2018.09.12» и т. Д.

Answer 2

Попробуйте использовать "index_name_prefix" : "ixmd-%{+yyyy.MM.dd}"

Вы можете индексировать свои данные, используя дату.