Удаление общего префикса и суффикса из набора сообщений - PullRequest
Новая
       11

Удаление общего префикса и суффикса из набора сообщений

0 голосов
/ 20 марта 2019

У меня есть набор json-сообщений, приходящих из очереди сообщений.Мне нужно собрать из этого связанный набор сообщений (на основе поля «location») и удалить общий префикс и суффикс из поля «description» из всех элементов в наборе.Затем добавьте его в эластичный поиск.Например, если набор полей описания с тем же полем местоположения "Лондон" выглядит следующим образом: 

AAA BB I live in London CC DDD
AAA BB I want to eat fish & chips CC DDD
AAA BB My best friend is Alejandro CC DDD

Я хочу преобразовать это в: 

I live in London
I want to eat fish & chips
My best friend is Alejandro

Есть ли способ сделатьчто в logstash или какой-то другой инструмент?Я действительно не хочу писать специальную программу, чтобы просто извлекать сообщения из источника, объединять и преобразовывать их и сбрасывать в эластичный поиск.Важно отметить, что мне нужно удалить префикс + суффикс из сообщений с общим полем «location», а не для всех сообщений.

Любая помощь будет принята!

1 Ответ

0 голосов
/ 20 марта 2019

Используйте mutate gsub в вашей конфигурации logstash: 

filter {
    mutate {
            gsub => ["fieldname","AAA BB ",""]
    }
}

https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html

...