Logstash: есть ли способ изменить некоторые свойства в документе при миграции - PullRequest
Новая
       26

Logstash: есть ли способ изменить некоторые свойства в документе при миграции

0 голосов
/ 21 октября 2019

Я перенес некоторые индексы из Elasticsearch с собственным размещением в AmazonElasticSearch, используя Logstash. При переносе документов нам нужно изменить имена полей в индексе на основе некоторой логики.

Наш файл конфигурации Logstash 

input {
 elasticsearch {
 hosts => ["https://staing-example.com:443"]
 user => "userName"
 password => "password"
 index => "testingindex"
 size => 100
 scroll => "1m"
 }
}

filter {

}

output {
 amazon_es {
 hosts => ["https://example.us-east-1.es.amazonaws.com:443"]
 region => "us-east-1"
 aws_access_key_id => "access_key_id"
 aws_secret_access_key => "access_key_id"
 index => "testingindex"
}
stdout{
  codec => rubydebug
  }
}

Здесь это один из документов для testingIndex из нашего эластичного поиска с самостоятельным размещением 

{
    "uniqueIdentifier" => "e32d331b-ce5f-45c8-beca-b729707fca48",
         "createdDate" => 1527592562743,
     "interactionInfo" => [
         {
                        "value" => "Hello this is testing",
                        "title" => "msg",
            "interactionInfoId" => "8c091cb9-e51b-42f2-acad-79ad1fe685d8"
        },
         {
                        **"value"** => """"{"edited":false,"imgSrc":"asdfadf/soruce","cont":"Collaborated in  <b class=\"mention\" gid=\"4UIZjuFzMXiu2Ege6cF3R4q8dwaKb9pE\">@2222222</b>  ","chatMessageObjStr":"Btester has quoted your feed","userLogin":"test.comal@google.co","userId":"tester123"}"""",
                        "title" => "msgMeta",
            "interactionInfoId" => "f6c7203b-2bde-4cc9-a85e-08567f082af3"
        }
    ],
         "componentId" => "compId",

               "status" => [
                "delivered"
        ]
    },
           "accountId" => "test123",
       "applicationId" => "appId"
}

Это то, что мы естьожидая, когда документы будут перенесены в наш AmazonElasticSearch 

{
    "uniqueIdentifier" => "e32d331b-ce5f-45c8-beca-b729707fca48",
         "createdDate" => 1527592562743,
     "interactionInfo" => [
         {
                        "value" => "Hello this is testing",
                        "title" => "msg",
            "interactionInfoId" => "8c091cb9-e51b-42f2-acad-79ad1fe685d8"
        },
         {
                        **"value-keyword"** => """"{"edited":false,"imgSrc":"asdfadf/soruce","cont":"Collaborated in  <b class=\"mention\" gid=\"4UIZjuFzMXiu2Ege6cF3R4q8dwaKb9pE\">@2222222</b>  ","chatMessageObjStr":"Btester has quoted your feed","userLogin":"test.comal@google.co","userId":"tester123"}"""",
                        "title" => "msgMeta",
            "interactionInfoId" => "f6c7203b-2bde-4cc9-a85e-08567f082af3"
        }
    ],
         "componentId" => "compId",

               "status" => [
                "delivered"
        ]
    },
           "accountId" => "test123",
       "applicationId" => "appId"
}

Нам нужно изменить поле «значение» на «ключевое слово-значение» , где бы мы ни находилиФормат JSON. Есть ли какой-либо другой фильтр в Logstash для достижения этого

Ответы [ 2 ]

0 голосов
/ 23 октября 2019

Попробуйте добавить это в ваш фильтр: 

filter {
  ruby {
    code => "event.get('interactionInfo').each { |item| if item['value'].match(/{.+}/) then item['value-keyword'] = item.delete('value') end }"
  }
}
0 голосов
/ 21 октября 2019

Как указано на веб-сайте Logstash:

https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-rename

Вы можете использовать фильтр mutate, применяя функцию переименования.

Например: 

filter {
  mutate {
    replace => { "old-field" => "new-field" }
  }
}

Для вложенных полей вы можете просто указать путь к полю: 

filter {
  mutate {
    replace => { "[interactionInfo][value]" => "[interactionInfo][value-keyword]" }
  }
}
...